文章介绍了信息论中的联合熵和条件熵，这两个概念用于衡量随机变量的不确定性及信息量。联合熵反映多个变量一起的不确定性，而条件熵则衡量一个变量在已知另一变量情况下剩余的不确定性。它们在数据压缩、通信和机器学习等领域有广泛应用。
背景
在信息论中，联合熵和条件熵是两个与随机变量和概率分布相关的重要概念，用于衡量不确定性和信息量。
联合熵（Joint Entropy）：
联合熵是描述多个随机变量的联合概率分布的不确定性的度量。如果有两个随机变量X和Y，它们的联合概率分布为P(X, Y)，则联合熵H(X, Y)表示这两个随机变量一起的不确定性。联合熵的计算公式为：
H(X, Y) = -ΣΣ [P(x, y) * log2(P(x, y))]
H ( X , Y ) = − ∑ x ∑ y P ( x , y ) log 2 ( P ( x , y ) ) H(X, Y) = -\sum_{x}\sum_{y} P(x, y) \log_2(P(x, y)) H(X,Y)<
最低0.47元/天 解锁文章
扫一扫
3611
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
