本文总结了信息论中的核心概念，包括信息量、熵、条件熵和互信息。信息量与随机变量的概率分布相关，熵表示平均信息量，条件熵描述已知某些信息时额外需要的信息，互信息衡量两个变量的关联程度。通过拉格朗日乘子法可求得最大熵，而Kullback-Leibler divergence（相对熵）则用于评估分布的差异性。
我们考虑一下一个离散的随机变量x,当我们观察到它的一个值，能给我们带来多少信息呢？这个信息量可以看做是我们观察到x的这个值带来的惊讶程度。我们被告知一个不太可能发生的事发生了要比告知一个非常可能发生的事发生，我们获得信息要多。
所以信息量的多少依赖于概率分布p(x)，所以我们可以用关于p(x)的一个函数来建模信息量h(x).那什么函数模型适合表达呢？
我们观察两个相互独立的事件x，y，我们观察它得到的信息量，要和单独观察他们得到的信息量之和相等。即
h(x,y) = h(x) + h(y)
而两个独立的时间x,y的概率关系：
p(x,y) = p(x) p(y)
基于上面的观察，信息量必须和p(x)的log函数相关。
所以我们得到：
加上负号，可以保证信息量大于等于0。注意一个小概率事件，具有更高的信息量。
log的底数选择并没有
所以信息量的多少依赖于概率分布p(x)，所以我们可以用关于p(x)的一个函数来建模信息量h(x).那什么函数模型适合表达呢？
我们观察两个相互独立的事件x，y，我们观察它得到的信息量，要和单独观察他们得到的信息量之和相等。即
h(x,y) = h(x) + h(y)
而两个独立的时间x,y的概率关系：
p(x,y) = p(x) p(y)
基于上面的观察，信息量必须和p(x)的log函数相关。
所以我们得到：
加上负号，可以保证信息量大于等于0。注意一个小概率事件，具有更高的信息量。
log的底数选择并没有
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
