Shannon entropy

Creator

Creator

Alan Jo

Created

Created

2023 Jun 1 6:9

Editor

Editor

Alan Jo

Edited

Edited

2024 May 22 1:16

Refs

Refs

Gibbs' inequality

Informational Entropy

확률분포의 모양과 정보의 양으로 나타내는 특징값

Measure of information content; the number of bits actually required to store data

How random it is, How broad it is (Uniform distribution has maximum entropy)

평균 정보량

개별 사건에 대한 정보량

정보량을 합치면 각 사건의 정보량을 합친 것과 같아야

Shannon entropy Types

정보 엔트로피(information entropy) - 공돌이의 수학정리노트 (Angelo's Math Notes)

정보란 무엇인가?공부를 하다보면 용어에 막히는 경우가 종종 있다.특히, 필자의 경우에는 통계학을 공부하면서 용어에서 많은 벽을 느꼈던 것 같다.가령 귀무가설 같은 용어는 너무 생소하다보니 그 용어를 익히는데 애를 먹었던 좋은 예라고 할 수 있을 것 같다.그런데, 이번 포스트에서 말...

정보 엔트로피(information entropy) - 공돌이의 수학정리노트 (Angelo's Math Notes)

https://angeloyeo.github.io/2020/10/26/information_entropy.html

Recommendations

/////