本文深入探讨了信息论中的核心概念——信息熵、相对熵和交叉熵，解释了它们在衡量不确定性及分布距离上的作用。信息熵衡量分布的不确定性，随机变量状态越多，熵越大；相对熵量化了两个分布间的差异；交叉熵则用于评估非真分布求解熵的过程。
信息熵：表示分布的不确定性
随机变量的取值个数越多，状态数也就越多，信息熵就越大，混乱程度就越大。当随机分布为均匀分布时，熵最大
相对熵：有两个分布p,q，其中p为真实数据分布，q为相似的分布，那么相对熵就是两个分布之间的距离
交叉熵：用非真正的数据分布q来进行求解熵（基于原始分布P概率）
可见，交叉熵-信息熵=相对熵
条件熵：
条件熵 H(Y|X) 表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。条件熵 H(Y|X) 定义为 X 给定条件下 Y 的条件概率分布的熵对 X 的数学期望：
扫一扫
1474
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
