MoE SAE Eval

Creator
Creator
Seonglae ChoSeonglae Cho
Created
Created
2025 Dec 2 22:7
Editor
Edited
Edited
2025 Dec 2 22:7
Refs
Refs

Evaluation

sae feature 되게 경계해서 사용해야할용어, 고정된 feature 찾는거 중요
baseline 이 moe 가 아니라 원래 모델이어야하지 않나? feature set 이 expert 역할
moe 랑 non moe 비교를 어케 하면 좋을 지.
보통 moe 랑 non moe 비교할 때 어똔 metric 쓰는지
 
 
 
 
 
 
 
 
 

Recommendations