《深度学习》 第3章 概率与信息论

《深度学习》 第3章 概率与信息论

概率不仅提供量化不确定性的方法，也提供了用于导出新的不确定性声明的公理

为什么要使用概率

不确定性有三种来源：

1. 被建模系统内在的随机性
2. 不完全观测
3. 不完全建模

频率派概率：概率直接与事件发生的频率相联系
贝叶斯概率：概率涉及到确定性水平

随机变量

概率分布

离散型变量和概率质量函数

$$\sum _{i}P(\mathrm{x}=x_i)=\sum _i\frac{1}{k}=1$$

连续型变量和概率模型函数

$$\int p(x)dx=1$$

边缘概率

$$\forall x\in \mathrm{x},P(\mathrm{x}=x)=\sum _{y}P(\mathrm{x}=x,\mathrm{y}=y)$$
$$p(x)=\int p(x,y)dy$$

条件概率

$$P(\mathrm{y}=y|\mathrm{x}=x)=\frac{P(\mathrm{y}=y,\mathrm{x}=x)}{P(\mathrm{x}=x)}$$
不要把条件概率和干预查询相混淆

条件概率的链式法则

$$P({\mathrm{x}}^{(1)},\dots ,{\mathrm{x}}^{(n)})=P({\mathrm{x}}^{(1)})\prod _{i=2}^{n}P\left({\mathrm{x}}^{(1)},\dots ,{\mathrm{x}}^{(i-1)}\right)$$

独立性和条件独立性

$$\forall x\in \mathrm{x},y\in \mathrm{y},p(\mathrm{x}=x,\mathrm{y}=y)=p(\mathrm{x}=x)p(\mathrm{y}=y)$$
$$\forall x\in \mathrm{x},y\in \mathrm{y},z\in \mathrm{z},p(\mathrm{x}=x,\mathrm{y}=y|\mathrm{z}=z)=p(\mathrm{x}=x|\mathrm{z}=z)p(\mathrm{y}=y|\mathrm{z}=z)$$

期望、方差和协方差

协方差给出了两个变量线性相关性的强度以及变量的尺度
$$\mathrm{C}\mathrm{o}\mathrm{v}(f(x),g(y))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])(g(y)-\mathbb{E}[g(y)])]$$

相关系数将变量贡献归一化，只衡量变量的相关性。

独立性比零协方差要求更严，因为独立性还排除了非线性的关系

常见概率分布

Bernoulli分布

Multinoulli分布

高斯分布

$$\mathcal{N}(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right)$$

正态分布是比较好的默认选择，原因有二：

1. 很多分布的真实情况接近正态分布
2. 在具有相同方差的所有可能的概率分布中，正态分布在实数上具有最大的不确定性

指数分布和Laplace分布

$$p(x;\lambda )=\lambda 1_{x\ge 0}\mathrm{e}\mathrm{x}\mathrm{p}(-\lambda x)$$
$$\mathrm{L}\mathrm{a}\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{c}\mathrm{e}(x;\mu ,\gamma )=\frac{1}{2\gamma }\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{|x-\mu |}{\gamma }\right)$$

Dirac分布和经验分布

$$p(x)=\delta (x-\mu )$$
$$\hat{p}(x)=\frac{1}{m}\sum _{i=1}^m\delta (x-x^{(i)})$$
可以认为从训练集上得到的经验分布指明了采样来源的分布，其是训练数据的似然最大的那个概率密度函数

分布的混合

混合模型是组合简单概率分布来生成更丰富的分布的一种简单策略。

一种非常强大且常见的混合模型是高斯混合模型，其是概率密度的万能近似器

常用函数的有用性质

$$\sigma (x)=\frac{1}{1+\mathrm{e}\mathrm{x}\mathrm{p}(-x)}$$
$$\zeta (x)=\mathrm{l}\mathrm{o}\mathrm{g}(1+\mathrm{e}\mathrm{x}\mathrm{p}(x))$$
$$x^{+}=\mathrm{m}\mathrm{a}\mathrm{x}(0,x)$$

下面一些性质有用：
$$\sigma (x)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(x)}{\mathrm{e}\mathrm{x}\mathrm{p}(x)+\mathrm{e}\mathrm{x}\mathrm{p}(0)}$$
$$\frac{d}{dx}\sigma (x)=\sigma (x)(1-\sigma (x))$$
$$1-\sigma (x)=\sigma (-x)$$
$$\mathrm{l}\mathrm{o}\mathrm{g}\sigma (x)=-\zeta (-x)$$
$$\frac{d}{dx}\zeta (x)=\sigma (x)$$
$$\forall x\in (0,1),{\sigma }^{-1}(x)=\mathrm{l}\mathrm{o}\mathrm{g}\left(\frac{x}{1-x}\right)$$
$$\forall x>0,{\zeta }^{-1}(x)=\mathrm{l}\mathrm{o}\mathrm{g}(\mathrm{e}\mathrm{x}\mathrm{p}(x)-1)$$
$$\zeta (x)={\int }_{-\infty }^x\sigma (y)dy$$
$$\zeta (x)-\zeta (-x)=x$$

贝叶斯规则

$$P(\mathrm{x}|\mathrm{y})=\frac{P(\mathrm{x})P(\mathrm{y}|\mathrm{x})}{P(\mathrm{y})}$$

连续变量型的技术细节

$$|p_y(g(x))dy|=|p_x(x)dx|$$

信息论

对一个信号包含信息的多少进行量化

三个性质：

• 非常可能发生的事件信息量要比较少
• 较不可能发生的事件具有更高的信息量
• 独立事件应具有增量的信息

自信息：
$$I(x)=-\mathrm{l}\mathrm{o}\mathrm{g}P(x)$$

一奈特是以$1/e$的概率观测到一个事件时获得的信息量

香农熵：
$$H(\mathrm{x})={\mathbb{E}}_{\mathrm{x}\sim P}[I(x)]=-{\mathbb{E}}_{\mathrm{x}\sim P}[\mathrm{l}\mathrm{o}\mathrm{g}P(x)]$$
一个分布的香农熵是指遵循这个分布的事件所产生的期望信息总量

KL散度衡量两个独立的概率分布的差异：
$$D_{\mathrm{K}\mathrm{L}}(P||Q)={\mathbb{E}}_{\mathrm{x}\sim P}\left[\mathrm{l}\mathrm{o}\mathrm{g}\frac{P(x)}{Q(x)}\right]={\mathbb{E}}_{\mathrm{x}\sim P}[\mathrm{l}\mathrm{o}\mathrm{g}P(x)-\mathrm{l}\mathrm{o}\mathrm{g}Q(x)]$$

在离散型变量的情况下,KL 散度衡量的是,当我们使用一种被设计成能够使得概率分布$Q$产生的消息的长度最小的编码,发送包含由概率分布$P$产生的符号的消息时,所需要的额外信息量。或者说是数据的原始分布$P$和近似分布$Q$之间的对数差值的期望。

交叉熵:
$$H(P,Q)=H(P)+D_{\mathrm{K}\mathrm{L}}(P||Q)=-{\mathbb{E}}_{\mathrm{x}\sim P}\mathrm{l}\mathrm{o}\mathrm{g}Q(x)$$

针对$Q$最小化交叉熵等价于最小化KL散度,因为$Q$并不参与被省略的那一项

结构化概率模型

有向模型：
$$p(\mathrm{x})=\prod _{i}p({\mathrm{x}}_i|P{a}_{\mathcal{G}}({\mathrm{x}}_i))$$
无向模型：
$$p(\mathrm{x})=\frac{1}{Z}\prod _i{\varphi }^{(i)}({\mathcal{C}}^{(i)})$$
这些图模型表示的分解仅仅是描述概率分布的一种语言