本文详细介绍了信息论中的关键概念，包括信息量（衡量事件发生的不确定性），熵（信息的期望值，反映系统的不确定性），联合熵（两个或多个变量的熵），互信息（衡量变量间的依赖性），条件熵（在已知一个变量条件下另一个变量的不确定性），相对熵（KL散度，表示两个概率分布的差异）和交叉熵（在机器学习中作为目标函数）。这些概念在数据处理和机器学习中扮演着重要角色。
1.信息量
含义：对信息的度量。概率越小，信息量越大。
公式：h(xi)=−log2p(xi)h(x_i)=-log_2p(x_i)h(xi)=−log2p(xi)
或者h(xi)=log21p(xi)h(x_i)=log_2\frac{1}{p(x_i)}h(xi)=log2p(xi)1
p(xi)p(x_i)p(xi)为事件xix_ixi发生的概率大小，一般所用底数为2。
根据以上公式可以看出，一个事件发生的概率越高，其对应的信息量就越低；概率越小，对应的信息量约大。
2.熵
含义：熵是信息量的期望。反应的是不确定性。概率越小，熵越大。
公式：H(X)=−∑i=1np(xi)logbp(xi)H(X)=-\sum_{i=1}^{n}p(x_i)log_bp(x_i)H(X)=−∑i=1np(xi)logbp(xi)
或者H(X)=∑i=1np(xi)logb1p(xi)H(X)=\sum_{i=1}^{n}p(x_i)log_b\frac{1}{p(x_i)}H(X)=∑i=1np(xi)logbp(xi)1
X=x1,x2……xnX = {x_1,x_2……x_n}X=x1,x2……xn
设limp−>0logp=0lim_{p->0}logp=0limp−>0
最低0.47元/天 解锁文章
扫一扫
1262
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
