机器学习笔记：各种熵

在机器学习中通常会使用各种熵来描述分布与分布之间的关系，如条件熵和交叉熵等，也有直接优化熵的模型，如最大熵模型。
这篇文章简单总结一下之前见到过的一些熵相关的概念。

---

信息量

定义

假设有离散随机变量 $X$ 满足分布 $P(X=x_i)=p_i$ ， 定义事件 $X=x_i$的信息量为
$$I(x_i)=-log(p_i)$$

性质

取值范围在 [0, +∞) 区间内
顾名思义，一个事件的信息量可以直观的理解为事件发生给人带来的信息多少。由定义可以看出当事件发生概率越小时，信息量越大。

---

信息熵

定义

信息熵用于描述随机变量 $X$ ，定义信息熵为信息量的期望值
$$H(X)=E_{x\sim P}[I(x)]=-\sum _{i=1}^n{p}_{i}log(p_i)$$

性质

取值范围在 [0, log(n)] 区间内
信息熵描述了随机变量的不确定性，当所有事件等可能地发生时，信息熵取得最大值
同样的可以定义联合分布 $P(X,Y)$ 和条件分布 $P(X|Y=y_i)$ 的信息熵

---

条件熵

定义

假设有离散随机变量 $X$ 和 $Y$ 满足联合分布 $P(X=x_i,Y=y_i)=p_{ij}$ ，记边缘分布 $P(X=x_i)=p_i$ ，定义条件熵为
$$H(Y|X)=-\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$

性质

可以证明 $H(Y|X)=H(X,Y)-H(X)$
$$\begin{gathered} H(Y|X)=-\sum _{x}p(x)H(Y|X=x) \\ =-\sum _{x}p(x)\sum _{y}p(y|x)log(p(y|x)) \\ =-\sum _x\sum _{y}p(x,y)log(p(y|x)) \\ =-\sum _x\sum _{y}p(x,y)[log(p(y|x)p(x))-log(p(x))] \\ =-\sum _x\sum _{y}p(x,y)log(p(y|x)p(x))+\sum _x\sum _{y}p(x,y)log(p(x)) \\ =-\sum _x\sum _{y}p(x,y)log(p(y|x)p(x))+\sum _{x}p(x)log(p(x)) \\ =H(X,Y)-H(X) \end{gathered}$$
条件熵描述了在 $X$ 已知的情况下， $Y$ 的信息熵

---

相对熵

定义

相对熵又称KL散度（KL divergence）。假设有离散的随机变量 $X$ ，和定义在 $X$ 上的两个分布 $P(X=x_i)=p_i$ 和 $Q(X=x_i)=q_i$ ，定义相对熵为
$$D_{KL}(p||q)=\sum _{i=1}^n{p}_{i}log(\frac{p_i}{q_i})$$

性质

KL散度通常用来描述两个分布之间的差异或距离。当两个分布越接近，则KL散度越小，因此在GAN的论文中，KL散度被用来衡量生成器生成的样本分布与真实样本分布之间的差异。
但是KL散度却不满足距离的对称性，即 $D_{KL}(p||q)\ne D_{KL}(q||p)$

---

交叉熵

定义

假设有离散的随机变量 $X$ ，和定义在 $X$ 上的两个分布 $P(X=x_i)=p_i$ 和 $Q(X=x_i)=q_i$ ，定义交叉熵为
$$H(p,q)=-\sum _{i=1}^n{p}_{i}log(q_i)$$

性质

可以证明 $H(p,q)=H(p)-D_{KL}(p||q)$
注意交叉熵是定义在一个随机变量的两个分布上的，和信息熵 $H(X,Y)$ 有区别
交叉熵定义了使用分布 $Q$ 拟合分布 $P$ 时的损失，在机器学习中使用的交叉熵损失函数就是将预测分布和真实数据分布的交叉熵来作为损失函数的

---

JS散度

定义

JS散度修正了KL散度部队称的特点，定义为
$$JSD(p||q)=\frac{1}{2}{D}_{KL}(p||\frac{p+q}{2})+\frac{1}{2}{D}_{KL}(q||\frac{p+q}{2})$$

性质

解决了KL散度不对称的特点