本文深入探讨了信息论中的核心概念，包括信息熵、互信息、条件熵、交叉熵、联合熵和相对熵。通过数学公式解析了这些概念如何量化信息的不确定性及信息源之间的依赖关系。
信息熵
互信息（Mulual information）
条件熵
交叉熵
H(p,q)=∑ p(x)∗log( 1/q(i) )
联合熵
H(X,Y)=−∑ p(x,y) ln p(x,y)
相对熵
D(p||q)=H(p,q)-H(p)
转载于:https://my.oschina.net/chunquedong/blog/868174
互信息、相对熵
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
