熵，作为信息论中的核心概念，由香农首次提出，用于衡量系统的混乱程度。熵值越高，系统越无序；反之，系统越有序。当节点纯度达到最高时，熵的度量值为0；而在节点最不纯的情况下，熵值达到最大。本文深入探讨熵的概念及其在信息论中的应用。
熵是什么？
ß熵（Entropy）由“信息论之父”香农提出，是指系统的混乱程度。
ß系统越无序、越混乱，熵就越大。
Þ当节点很纯时（只有一个类的样本），其度量值为0
Þ当不纯性最大时（所有类都有同样可能），其度量值最大
计算一下熵
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
熵是什么？
ß熵（Entropy）由“信息论之父”香农提出，是指系统的混乱程度。
ß系统越无序、越混乱，熵就越大。
Þ当节点很纯时（只有一个类的样本），其度量值为0
Þ当不纯性最大时（所有类都有同样可能），其度量值最大
计算一下熵
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
