Informational Entropy
확률분포의 모양과 정보의 양으로 나타내는 특징값
Measure of information content; the number of bits actually required to store data
How random it is, How broad it is (Uniform distribution has maximum entropy)
평균 정보량
개별 사건에 대한 정보량
정보량을 합치면 각 사건의 정보량을 합친 것과 같아야
Shannon entropy Types