Seonglae Cho어제사온 쌀 크림은 devine rice 였나 너무 맛없고 느끼해서 바로 루바브로 교체하고 8시에 피곤하게 일났지만 실패하고 10시수업 못가고 11시 ir 만 가면서 얼마 남지않은 수업 또 안갔다고 자괴감 느꼈지만 아침 시간 왜 예전처럼 급하지 못하냐. 근데 다행히 수업 일찍 끝나고 별거없대서 또 괜찮아짐 (ir 도 헛소리 게스트도 없는 수업인건 뭐 그래도 친구들 만나서 수다 떨어서 괜찮다 놀란건 중국 예양이 bacheler’s liverpool 이라는거). 점심 시도한 베이컨 시저샐러드는 별로였지만 그나마 점심쯤 날씨 좋아져서 벗꽃도 보고 그레듀엣 허브가서 열심히 생성한 데이터 병합은 ir 수업에서 했지만 gpt 실험 등등 돌려둔다. (scourse is liverpool accent) 회의 가서는 내내 짜증나고 심술부렸지만 설명 짧게 하고 들어주는거 너무 열받는다. 그래도 좀 기분좋은척 할수있었는게 그게 잘 안되고 그렇다고 나 그만하고싶다 의견피력한거도 아니라 좀 아쉽다. 영어로 하튼 설명하는건 쉽지않다. 나와서 안좋은 기분에 민이 만나서 그래도 테이스트 충칭 오랜만에 가서 맛있게 밥도 먹고 도서관에서 바르셀로나 계획도 다 짜고 기분이 좋다. 잠깐 메일정리하다가 집와서 일기쓰고 탭메일 좀 정리하다 잔다.
아참 제대로 된 첫 벗꽃을 밤 스센 재팬 가든에서 민이랑 봐서 좋았다.
그래서 폴 어떻게 할거냐. 실험은 scaling은 물론 해야겠지만 어느정도 다 한거같고 빨리 글쓰자고 해야겠다 이제. 예상대로 안나와서
그니까 결론은
Sparsity loss randomly suppress features → This is the main reason of feature matching ratio is sensitive to seed difference. We mis-guess this is due to the dataset’s complexity. Explaining the model Explaining the dataset SAE is sensitive to training dataset but that does not necessarily means that SAE reflects the dataset. This is the biggest wrong assumption we’ve made. More important thing is feature inspection for model and the main cause is there are a lot of ways to combining feature basis to explain LLM representation. SAEs are Highly low reproducibility