CorrSteer Todo

suffix가 아니라 currentModel 뒤에 circle 붙이도록

prompt 아래쪽에 텍스트 생성 추가에 따라 카드 크기 안변해야하니까 공간 마련해놔. 다만 card size 를 고정하거나 하는 방식으로 텍스트 들어올 때 비어있는 공간 그대로 남아있지 않게

12 post 가 정확히 어디인지 파악 jupyter

relu 라 그런듯 양수필터링 바꾸기

huggingface class label to string → another dataset

GPT2 sae 믿을만한 source 인지

scaling law

diverse model

각 feature 별 몇개하고 말고도 전체 합쳐서 distirbtuion

가로 세로 scatter plot feature 평균 분산

max pooling 말고 mean 이나 흠 - 어차피 correlation 이라 상관없길할듯 틀린거도 보니 방법도 없고

내 ipynb activation visualization viz scripts for each layer

중위값하고 activation density (fraction of nonzero) stat return

평균이 중간값보다 큰놈들 비율 확인

token position 마다 다른지

max_token 늘일수록 correlation 늘어나는건지 왜냐면 max pooling 이라

mean std 같이 표현해주기