Shannon entropy

Creator
Creator
Seonglae ChoSeonglae Cho
Created
Created
2023 Jun 1 6:9
Editor
Edited
Edited
2024 May 22 1:16

Informational Entropy

확률분포의 모양과 정보의 양으로 나타내는 특징값
Measure of information content; the number of bits actually required to store data
How random it is, How broad it is (Uniform distribution has maximum entropy)

평균 정보량

개별 사건에 대한 정보량

정보량을 합치면 각 사건의 정보량을 합친 것과 같아야
Shannon entropy Types
 
 
 
 
 
 

Recommendations