《深度学习》花书第三章 概率论与信息论

3.1 为什么使用概率论

机器学习中通常必须处理不确定量，有时候也可能需要处理随机量。几乎所有活动都需要一些在不确定性存在的情况下进行推理的能力。不确定性有3种可能来源：(1).被建模系统内在的随机性。(2).不完全观测。(3).不完全建模。

3.2 随机变量

**随机变量(random variable)**是可以随机地取不同值得变量。随机变量可以是离散的或连续的。离散随机变量拥有有限或者可数无限多的状态。

3.3 概率分布

概率分布(probability distribution) 用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。

3.3.1 离散型变量和概率质量函数

离散型变量的概率分布可以用概率质量函数(probability mass function，又称概率分布律)来描述。每一个随机变量都会有一个不同的概率分布律。概率分布律将随机变量能够取到的每个状态的概率。x=$x$的概率用$P(x)$来表示。
概率质量函数同时作用于多个随机变量成为联合概率分布,$P(x,y)$表示x=$x$,y=$y$同时发生的概率。
如果一个函数$P$是随机变量x的PMF需满足如下条件:

1. $P$的定义域必须是x所有可能状态的集合
2. $\forall x\in \mathsf{x},0\le P(x)\le 1$
3. ${\sum }_{x\in \mathsf{x}}P(x)=1$
   例如，假设x均匀分布且有$k$个不同状态，有$$P(\mathsf{x}=x_i)=\frac{1}{k}$$$$\sum _{i}P(\mathsf{x}=x_i)=\sum _i\frac{1}{k}=1$$

3.3.2连续型变量和概率密度函数

当研究对象是连续型随机变量时则用概率密度函数来描述概率分布，如果一个函数$p$是概率密度函数，必须满足以下条件：

1. $p$的定义域必须是x所有可能状态的集合
2. $\forall x\in \mathsf{x},p(x)\ge 0$
3. $\int p(x)dx=1$

概率密度函数$p(x)$给出了落在面积为$\delta x$的无限小区域的概率密度为$p(x)\delta x$,可通过积分求出概率分布。

3.4 边缘密度

知道了一组变量的联合概率密度分布，想要了解其中的一个子集的概率分布，这种定义在子集上的概率分布成为边缘概率分布(marginal probability distribution)。
例：假设有离散型随机变量x和y并且我们知道$P$(x,y)可以通过求和法则来计算：$$\forall x\in \mathsf{x},P(\mathsf{x}=x)=\sum _{y}P(\mathsf{x}=x,\mathsf{y}=y)$$
对于连续型变量：$$p(x)=\int p(x,y)\mathrm{d}y$$

3.5 条件概率

条件概率：某个事件在给定其他事件发生时出现的概率$$P(\mathsf{y}=y|\mathsf{x}=x)=\frac{P(\mathsf{y}=y,\mathsf{x}=x)}{P(\mathsf{x}=x)}$$

3.6 条件概率的链式法则

任何多维随机变量的联合概率分布都可以分解为只有一个变量的条件概率相乘的形式。
$$P({\mathsf{x}}^{(1)},\dots ,{\mathsf{x}}^{(n)})=P({\mathsf{x}}^{(1)}){\Pi }_{i=2}^{n}P({\mathsf{x}}^{(i)}|{\mathsf{x}}^{(1)},\dots ,{\mathsf{x}}^{(i-1)})$$

3.7独立性和条件独立性

两个随机变量x和y，如果他们的概率分布可以表示为两个因子相乘的形式，并且一个因子只包含x，另一个因子只包括y，我们就称两个随机变量是相互独立的。$$\forall x\in \mathsf{x},y\in \mathsf{y},p(\mathsf{x}=x,\mathsf{y}=y)=p(\mathsf{x}=x)p(\mathsf{y}=y)$$
如果关于x和y的条件概率分布对于$z$的每个值都可以写成乘积形式，那么这两个随机变量x和y在给定随机变量$z$时是条件独立的:$$\forall x\in \mathsf{x},y\in \mathsf{y},z\in \mathsf{z},p(\mathsf{x}=x,\mathsf{y}=y|\mathsf{z}=z)=p(\mathsf{x}=x|\mathsf{z}=z)p(\mathsf{y}=y|\mathsf{z}=z))$$
我们可以采用以下形式简化：x$\perp$y表示x和y相互独立，x$\perp$y$|$z表示x和y在给定z时条件独立。