Allocative SAE

There are a total sparsity upper bound for token-feature matching as a resource allocation problem constraint.

각 입력 토큰이 최대k 개의 feature activation만 갖도록 제한

문제: 일부 토큰은 쉽게 재구성 가능하지만, 일부는 더 많은 특징이 필요함

토큰당 feature 제한 뿐 아니라 feature당 token 제한도 둬서 특정 특징의 과도한 사용 방지하여 효율적 자본배분

재구성 어려운 토큰에 더 많은 자원을 배정해 성능 개선

OpenAI Top-k SAE

Feature Choice SAE, Mutual Choice SAEs