Seonglae ChoThank you for your comment!
SAE의 Trained Dataset 에 따라 다른 데이터셋에 어떻게 적용되는지는 흥미로운 접근이라 테스트해보고 나오는 데로 댓글에 공유하겟다. the combination of features retains a degree of similarity 가 유지될 것으로 보인다. 위에서 내 subset hypothesis와 달리 이는 같은 걸 설명하는 feature set 즉 Basis 가 많은 조합이라 feature matching이 전반적으로 낮은 이유일 수 있겠다. (이상적으로는 1개겠지만)
나도 training step에 따른 feature 변화를 관측했는데 1e8 토큰과 4e8 토큰 사이에 0.7 정도의 matching 있을 정도로 (loss 변화는 크지 않았는데도) 영향이 있었다. 다만 다양한 상황에서 converge할때까지 computational cost 갗 budget에 충분하지 않아 이것을 테스트 나는 연구에 추가하지는 못했다. 하나의 의심은 specific feature set 으로 converge 할지 아니면 들어오는 keep chainging streaming 에 따라 변화량이 클수 있겠다는 걱정은 있다. 이것 또 분명히 흥미로운 연구 주제 direction 같다.
슈카도 보고 사진정리도 하고 이것저것 탭정리도 하고 정신없는 하루 보낸다. 오늘도 여전히 날씨 좋고 스트레스가 좀 풀리는 날이었는데 장보러가서 butternut squash 랑 저번에 사온 miso maple sirup pork shoulder 너무 맛있게 먹는다. 호박은 그냥저냥 나쁘지 않은데 조리가 너무 오래 걸리고, 충격적인 영국 블루베리는 진짜 오동통 달달 새콤 너무 맛있다. 민이랑 통화도 하며 하루 잘 마무리한다.