【数学笔记】信息论基础

信息消除不确定性，不确定性由熵描述

随机变量的熵：
设$X$为随机变量，其分布为$P(X)$
则$X$的熵为：
$$H(X)=-\sum _{x\in X}P(x){\log }_{2}P(x)$$

随机变量的条件熵：
已知随机变量$X,Y$，联合分布$P(X,Y)$,条件分布$P(X|Y)$
则在$Y$的条件下$X$的条件熵为：
$$H(X|Y)=-\sum _{x\in X,y\in Y}P(x,y){\log }_{2}P(x|y)$$

可证明$H(X)\ge H(X|Y)$

互信息:
假定两个随机事件$X$,$Y$，他们的互信息定义为：
$$I(X;Y)=\sum _{x\in X,y\in Y}P(x,y){\log }_2\frac{P(x,y)}{P(x)P(y)}$$
互信息描述了两个随机事件的相关性
实际上，互信息由
$$I(X;Y)=H(X)-H(X|Y)$$
导出。

库尔贝克——莱伯勒相对熵：
衡量两个取值为正数的函数的相似性
$$KL(f(x)||g(x))=\sum _{x\in X}f(x){\log }_2\frac{f(x)}{g(x)}$$

• 两个完全相同的函数，其相对熵为0
• 相对熵越大，两个函数差异越大
• 对于概率分布或者概率密度函数，如果取值均大于0，相对熵可以度量两个随机分布的差异性

詹森——香农相对熵：
注意到库尔贝克——莱伯勒相对熵是不对称的，进行对称平均对其修正，得到：
$$JS(f(x)||g(x))=\frac{1}{2}[KL(f(x)||g(x))+KL(g(x)||f(x))]$$