Seonglae Cho아침에 아름답게 보이는 선풍기와 햇살에 기묘한 호색 노스탈지아가 느껴진다. 이번주 마지막 half day 출근으로 나오는 길은 항상 예쁘고 지쿤 오후에 온다하고 점심 따로먹을 상황 나와서 1시반 하나 미팅전에 락사 먹으러 간다. 락사는 너무 오래걸려서 돌아와서 5분 먹다가 회의하러 갔어야했는데 이름모를 런던 북쪽 축구한테 점심 해먹는 사람 혹은 가족이 챙겨준다 잔소리도 듣고 얘기 잘한다. 아 아침에 가다가 무슨 드라마인가 영화 촬영중이라 입구막혀서 늦을뻔. 락사 맛은 옥수수면은 별로였지만 국물은 맛있어서 다음에는 국물 조금만 같이주고 빨리나오는 banana leaf meal 인가 그런놈 한번시도해봐야겠다. 빵은 쫄깃한데 바삭함이 공존하는게 레전드고 크리스티안에게 열심히 refactoring 중인거 설명하는데 이해도 잘해주고 잘했다 말해주며 ilibvulnwatch 도 지쿤에게 acl refactoring 해서 양 줄인거 보내주고 다음주 목금만 출근하라는 umar 도 고맙고 자신감있게 회사 나온다. 이케아 한번 들렀다가 집와서 복숭아 마차도 맛있게 먹어주고 장봐서 집 딱 도착한다. 아름다운 노을에 방들어와서 감바스랑 홀푸드 빵이랑 먹는데 너무 맛있다 새우가 좀 이상하긴 했지만 뭐 그건 버리고 홀푸드 사워도우 바게트 빵 너무 맛없으니 사워도우도 아니고 밣 최악이다. 유발 하라리 인사이트와 타일러의 미국 인사이트 들으며 faithful sae 실험 열심히 fake feature 은 제쳐두고 downstream proving에서 뭐가 나을지 돌리느라 하루가 다간다.
아침에 나름 downstream proving 좋게 나오는 결과가 나와서 친구들한테도 슬슬 말한다 어케 폴 할지 얘기하고 아침에 메일 정리한다음 본격적으로 downstream 값 오후쯤에 나와서 (mean pooling 이 핵심이었다) yelp 를 넣고 agnews 빼고 등 결과 좋게 맞춰본다. 사진이 하나밖에 안남아있을정도로 점심 샌드위치 먹으며 열심히 했고 fake feature 도 minimum filtering 적용하니 완벽하게 딱 나와서 그전엔 반대였는데 아주 러블리하다. 애들 다 설득해서 결국 폴 무시하고 어차피 제발로 나간거라 연락 혹시모를 join 가능성을 위해 빼기로 했다. ziad 는 끝가지 착한척했지만 하나도 한거없는놈이 그러는게 꼴보기는 싫더라 author list 도 넣기 싫었지만 공동의 적을 위해 다넣는건 좋은 전략같다. 그리고 결국에
한동안 개고생이 꽃을 피우다.
어제 돌려놓은 실험 결과는 전반적으로 안좋았지만
- left right padding error
- setting llm context to max length
이렇게 저녁까지 논문 퀄리티 오만 분석 다해가며 완성했고 친구들한테 받은 피드백도 좋다. 닐난다 논문 abstract 쓰는법하고 어디낼지 emnlp 까지 고민한다. 결과 마지막 두개가 좋게 나왔고 의미부여도 잘하고 논리오류 부족한 부분도 지우고 결론과 limitation future work 에서 cross work 까지 집중하니 완벽에 가깝다. 실험 이전결과 안좋은건 연구 나름 정직하게 하고 내용 포함하려면 어쩔수 없고 추가로 할생각도 없다. Personal Prompt 에 reserach 위한 내 스택 쌓은걸로 또 다음 논문에 많은 도움될거같아서 만족하고 pairwise comparison은 꽤나 객관적인거같아서 훌륭한 지표다 비슷한 도메인이나 주제일수록.
결국 금요일에 emnlp 는 finding은 가능할거같긴 한데 도박을 싫어서 actionable 하고 acl 동시제출하기로 한다. 아침에 일나서 아침먹는데 우유가 없어서 요거트도 안되고 라떼도 불가능해서 마트가서 흰바지 입고 사온다. 확실히 부지런해진게 회사 다니는게 나랑 맞긴 하다. k 랑 h 남친 마주쳤는데 k 가 부엌와서 outfit 멋있다고 독일군화 멋있다고 해주니 얘 스타일 보는 눈은 잇는가 싶고 기분도 좋다. 방와서 제출 1시반전에 마무리하고 인터뷰도 하면서 느낀게 긴장없이 그 대화 자체에 집중해서 하니 오히려 잘됐다. 배고파서 어제사온 그리스 slow cooked pork 먹는데 시도해본 3개중에 젤별로다. 미소가 탑이고 그다음 풀드포크 다음 그리스 요거트 신거다. 후추 시즈닝은 좋았는데 요거트 소스 안어울림. 이후 또 좋은건 민이가 쓴 레포트가 internal 이라도 사디크칸이 여러 c40 사람들 앒에서 읽는 것으로 되서 너무 좋았다. 민이의 귀에 물빼고 머리가 흩날리는 리액션 보는게 너무 귀여웟고 vega 추가 연구요청 오는것도 흥미로웠다. 내일 거절메일 보내면 될듯.
저녁부터는 어제는 아이디어 정리하고 제대로 control rl 실험들 다시 진행하는데 확실히 결과는 잘 안나온다. 그니까 select baseline 이라는 두번째 벽을 넘기가 너무 어렵다. 일단 근데 hallucination 없에는거나 fixed bias baseline 이 너무 올라가서 그냥 augmentation 자체가 hallucination 다막는게 어이가 없는데 그거 다시 값 확인해봐야할듯. 그래도 오늘 ty 수욜 우말이 remind하며 vscode로 typing 습관 생기며 전부 refactoring 도 하고 개쩌는 mako pallette 로 시각화도 레이어별로 조진건 큰 성과이다. 다가올 위협이었던 static multi token 도 dynamic token control 보다는 아니지만 역시 second wall 못넘고 좌절했지만 또 하다보면 부슬 수 있거나 다른 의미를 가질거란 자신감은 생겨있다. 잘해보자고 재밌긴 하니 얼마나 행운인가.