Seonglae ChoDistillation Robustifies Unlearning
기존 Unlearning은 능력을 제거하기보다 억제하지만, Distillation을 추가하면 숨겨진 능력까지 더 효과적으로 제거할 수 있다. 기존 Unlearning(GradDiff, MaxEnt, RMU)은 특정 지식의 출력을 억제할 뿐, 내부에 latent capability가 남아 있음. UNDO: Unlearn → Noise → Distill
- Unlearn: 기존 방법으로 원치 않는 능력을 억제.
- Noise: 모델 가중치를 부분적으로 손상시켜 기존 내부 표현을 파괴.
- Distill: 손상된 Student가 Unlearned Teacher의 출력 분포를 KL Loss로 학습해 원하는 능력을 복원.
- Language: 영어는 유지하면서 한국어 능력 제거.
- Arithmetic: 덧셈·뺄셈은 유지하면서 곱셈·나눗셈 제거.
- Robustness: 기존 Unlearning보다 Fine-tuning을 통한 능력 복구가 훨씬 어려움.