Hinton’s KD

Creator

Created

2023 Jun 4 10:21

Editor

Edited

2024 Mar 10 5:16

Refs

작은 모델의 성능 향상에 매우 효과적

작은 모델이 큰 모델보다 더 적은 파라미터를 가지고 있지만, 큰 모델과 유사한 성능을 발휘할 수 있도록

큰 모델과 작은 모델을 함께 교육시키는 방식

큰 모델의 출력 분포를 작은 모델이 따르도록 하는 Distillation loss를 사용

///////