Ghost Gradient

Creator
Creator
Seonglae Cho
Created
Created
2025 Jan 27 12:26
Editor
Edited
Edited
2025 Jan 29 11:18
Refs
Refs

2. Ghost Gradient

활성화되지 않은(dead) feature에 대해 추가적인 손실 항(term)을 생성하여 해당 feature를 재활성화하도록 잔여 오차(residual error)를 최소화하는 방향으로 gradient를 제공합니다. 이를 통해 기존의 sparsity 제약을 유지하면서도 dead features를 줄이고 학습 효율을 높입니다.
 
 
 
 
 
 
 
 

Recommendations