熵

香农对熵的定义是：无损编码事件信息的最小平均编码长度。

熵的计算公式

代表熵； 代表第 个信息状态的可能性。

指向原始笔记的链接