KL Divergence

Creator
Creator
Alan JoAlan Jo
Created
Created
2023 Mar 23 2:20
Editor
Editor
Alan JoAlan Jo
Edited
Edited
2024 Feb 24 9:6
Refs

Relative Entropy, Kullback Leibler Divergence, I-divergence

두 분포의 차이

a metric to compare two distributions
두 분포가 같다면 0, 그 이외의 경우에는 0보다 크다 (즉 기대한 정보와 결과의 차이 prior, posterior)
divergence means just difference
bigger than 0 due to the
Gibbs' inequality
KL-divergence를 minimize하는 것 또한 결국 log likelihood를 maximize하는 것과 같다
 

Popular Distance

Cross-entropy에서 entropy를 뺀 값. 거리 개념이 아니다
In case of KL divergence, we have the correspondence between MLE and KL matching
notion image
has an analytic solution if both p and q follows the normal distribution
 
 
 
 
 
 

Recommendations