Gated SAE, JumpReLU SAE
L1 loss가 희소성을 강제하지만 중요한 특징까지 과도하게 감소하여 shrinkage되여 데이터를 적절히 표현하지 못하게 되는 문제가 있다.
- 어떤 특성을 활성화할지 선택 (gate)하는 과정에서만 L1 페널티를 적용
- 선택된 뉴런들이 얼마만큼 활성화될지를 결정하는 단계 (without l1)
즉 특성 활성화는 sparse 하게 하되, l1 으로 인해 값의 크기 자체가 줄어드는 것은 막도록
Gated SAE
Creator
Creator
Seonglae ChoCreated
Created
2024 Oct 24 0:13Editor
Editor
Seonglae ChoEdited
Edited
2024 Oct 31 9:46Refs
Refs
