熵、相对熵、交叉熵、变分推断

1. 公式

香农熵：

相对熵：

交叉熵 = 熵 + 相对熵

当我们用一个计算公式（交叉熵）去估计熵时，得到的结果往往偏大，偏离熵真值称为 相对熵。

$$H(p)=\sum plog\frac{1}{p}=\sum plog\frac{1}{q}-\sum plog\frac{p}{q}$$

也就是，交叉熵
$$H(p,q)=\sum _{x}p(x)\log \frac{1}{q(x)}$$

2.变分推断

---

1. 如何通俗的解释交叉熵与相对熵? - 张一山的回答 - 知乎;
2. 深入了解变分推断;
3. 相对熵wiki;