Distillation loss

Creator

Created

2023 Jun 4 10:23

Editor

Edited

2023 Jun 19 17:5

Refs

작은 모델이 큰 모델의 출력과 유사한 출력을 내도록 하는 손실 함수

큰 모델과 작은 모델의 출력 분포 간의 차이를 최소화하는 방식으로 Distillation loss를 정의

///////