Seonglae Cho아침은 뒹굴거리며 푹자고 일어나 어제 계획한대로 남은 보쌈 한덩이를 샌드위치 해서 먹으려다 점심으로 미룬다. 아침은 언제나처럼 블루베리 요거트에 시리얼 커피까지 조져준다. 방와서 왜 발렌타인 초코사케가 안오지 생각하다가 혹시 몰라서 메일 보내두는데 아니 cancel 된 딜리버리라고 해서 어이없어서 별짓을 다한다. 계산을 내가 다 안했나 기억이 잘 안나지만 아무리 생각해도 한거같은데 웹 결제내역에는 있고 레볼루트에는 없어서 할말이 없다. 전화도 안받고 답답한 새끼들 giffgaff 10 파운드나 충전했는데 전화도 안받고 warehouse 나 offline availability 확인할 방법이 없는게 어이없다. 통화 비용도 안든다면서 엄청 빨리 없어지고 남탓하는게 더 어이없는데 온라인 매장 말고는 메일 답장도 없다.
점심은 그전에 맛있게 돼지 샌드위치 환상적으로 조금 잡내 났지만 껍질에서는 기름진 식감과 향이 너무 좋았다. 끝나고 안정된 환경에서 어제 말차 아이스크림 다시 먹는데 약간의 멜론향도 끝에 나서 신기하고 고급스럽다. 깔끔한게 역시 jfc 라는 키코맨 자회사로 독일산에 좋더라 하면서 파는 아시안 마켓 하나 더 찾앗다.
여튼 문제로는 결국에 저녁 전에 매장 가봐야겟다 해서 킹크 초콜릿 매장도 가보고 피카딜리 가서 보는데 역시 없다. 다만 중요한 게 아니라 여기기로 해서 스스로 다른 대안을 찾아보는데 곧 벚꽃도 피고 실제 들어있는 병이 너무 예뻐서 산다. 민이한테 내일 결혼 어느정도 생각한거도 얘기해야겠다 생각도 들고 발렌타인 초코사케 못사서 미안한 생각에 녹차과자랑 초코모찌넛도 산다. 저녁으로 차슈 먹을거지만 절반을 위해 방어회도 5파에 6조각 정도 사고 오면서 로버트 패틴슨 미키 17 시사회같은 레드카펫도 본다. 결국 실물은 못봤지만 오징어게임 병점 피아노맨을 지나 집와서 저녁 회부터 먹는다. 약간 비른 방어회의 그것을 살짝 비린 회간장으로 밸런스 좋게 맞추며 후리카게랑 와사비까지 해서 먹는데 초대리까지 하니 완벽한 밥도둑이다. 절반 남은 밥은 차슈로 오븐 돌려서 150도정도로 10분~15분 뒤집으며 먹는데 너무 맛있고 중국인 친구도 놀란다. 저녁에 민이랑 재밌게 통화도 하고 메일하고 내일 회의전 progress report랑 여러 회사 지원도 하다보니 벌써 1시라 자야겟다. 앞으로 계획은 다음과 같다.
왜 같은 index act dist 다른지 - 뒤에서 400개 사용?
Weekly plan
- 내일 발렌타인 즐겁게 잘 지내기 예약한 두곳과 저녁 비프웰링턴 → scaling 논문읽기
- 주말에는 아마 미팅 스킵하고 sae activation 글 lesswrong 써서 주말 내로 올리기
- 민이 토욜 집가서 같이공부? scaling 논문읽기
- two part
- gpt2 huggingface - SAE figure
- gpt2 batchtopk - SAE matrix figure
- 다만 2개 테스트 다 geometric mean 적용 안해서 적용하면 비율 높아질수도
- Same SAE top-2 부터 해서 중첩되는거 많은거 아닌가 하는 의시
positional encoding 제거하고 돌려보기
l1 l2 loss invectivation
turorial 2.0 다른거 있나 확인, 논문읽기
로스 다시 렌더링
ce difference llm after reconstruciton
position embedding 뺐을 때 sae loss/ce loss
Feature Umap
최종그래프
layerwise similarity 2개인데, (umap visualization animation)
Citation 빼고 적기 (who, 2024) → footnote 는 내 글 적고 link 는 그냥 링크, 제목 dtatset 수정
font size 2배해서 다시 렌더링
figma
residual stream visualization
common feature matching visualization
Decoder weight UMAP, t-Sne - geometric mean initizliation
differenct dictionary size 일때 비교 larger or smaller
월욜에는 zekun 한테 corrsteer 확실히 방향 정해서 report share 하기
- 화욜에는 ir coursework 하루 진행
수욜 SAE feature RL 진행
- 목욜은 금욜 회의전 snlp 진행
crosscoder 논문읽고
- 금토일 nnet upload lesswrong Π-Net, TreeSAE n-Net
- encoder decoder force 하면 안되나 same symmetry
Nnet (with residual or not), synsae training → 완료 후 eluther embedding