리서치노트 CorrSteer 데모 설계

1. 데모 설계 하려는데 기존에 v0 이랑 chatgpt 조합으로 해보려고 한다.

2. v0 하려면 이미지 필요해서 figma 쓰려는데 생각보다 편하고 좋다 다만 프로플랜 필요해서 무료 ucl edu 계정 으로 진행중임

3. 무료도 ㄱㅊ은데 team libary 가 유료버전만 가능해서 shadcn doc에 또 있길래 publish libary 햇다

4. 여튼 import from figma 도 v0 에서 있어서 프레임깔기전에는 하양으로 나왔는데 하양 프레임 깔고 나니까 이미지 가져와지긴 하는데 그냥 캡쳐해서 하는거랑 다른거 없는듯?

5. 여튼 ui 틀은 v0 에서 짜고 chatgpt 와서 (이미지 업로드가 지금 오류임) 기능들 improve 하다봄

6. mbti gpt 랑 분명 코드 class 똑같은데 왜 가운데 정렬이 안되는건지 한참 고민했는데 vite-react-ts 기본 css 에 main 등 걸려있는게 문제였음

7. 앞으로 조심하는데 vite ts minimum 이 생각보다 설정할거 많아서 다음에 chat streaming example 기여할때는 흠 shadcn 말고 tailwind로만 하던가 해야겠다

Zakun

• 모델 다양한거 추가 예정

• 데이터셋 여러가지 테스트해볼 예정

• distribution 이나 steering vector 전략 coefficient 등 재점검 예정

1. CorrSteer (targeting ACL 2025 demo)

• What are you proud of, excited by or most energized by?

Other research results

• I tried some other datasets, but some of the classification labels did not show high correlation (EMGSD dataset too), so it might be great to show how many classification labels could be correlated to the SAE.

• I am investigating more about how to steer features more efficiently. Currently, all of the token's residuals are added with steering vector. But I am considering using quantile or only last few tokens for steering based on other research.

• I will apply to one or two other models such as Gemma with GemmaScope

• Apply another Text classification Datasets

• As I wrote above, apply better strategy (minimal time priority work)

• Visualize activation distribution across features

2. RL based Unlearning (EMNLP or NeurIPS 2025)

research results

• Designs action space, state space, and observation space for Reinforcement Learning
• Action space: SAE feature index and coefficient
• State space: MLP Activation or Residual vector
• Observation space: Next token distribution

• Connect to the project-related professors for the thesis

• Improve the ideas for implementation

• POC the idea with tiny GPT2 model