超级会员免费看
本文深入探讨了信息论中的熵及其在机器学习中的应用，包括熵的基本概念、联合熵、条件熵、相对熵（KL散度）和交叉熵。通过实例解释了这些熵的计算和相互关系，以及它们在模型训练和概率分布比较中的作用。
一、什么是熵
物理学上，熵 Entropy 是“混乱” 程度的量度。
系统越有序，熵值越低；系统越混乱或者分散，熵值越高
信息理论：
1、当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。这是从信息的完整性上进行的描述。
2、当数据量一致时，系统越有序，熵值越低；系统越混乱或者分散，熵值越高。这是从信息的有序性上进行的描述。
假如事件A的分类划分是（A1,A2,…,An），每部分发生的概率是(p1,p2,…,pn)，那信息熵定义为公式如下：
订阅专栏 解锁全文
扫一扫
03-18
3万+
3万+
01-20
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
