图解AI数学基础(2) | 概率与统计（要点速查清单·完结）

作者：韩信子@ShowMeAI
教程地址：https://www.showmeai.tech/tutorials/83
本文地址：https://www.showmeai.tech/article-detail/163
声明：版权所有，转载请联系平台与作者并注明出处

1.概率论及在AI中的使用

概率（Probability），反映随机事件出现的可能性大小。事件 $A$ 出现的概率，用 $P (A)$ 表示。

概率论（Probability Theory），是研究随机现象数量规律的数学分支，度量事物的不确定性。

概率论&应用 Probability Theory

机器学习大部分时候处理的都是不确定量或随机量。因此，相对计算机科学的其他许多分支而言，机器学习会更多地使用概率论。很多典型的机器学习算法模型也是基于概率的，比如朴素贝叶斯（Naive Bayesian）等。

在人工智能领域，概率论有广泛的应用：

可以借助于概率方法设计算法（概率型模型，如朴素贝叶斯算法）。

可以基于概率与统计进行预测分析（如神经网络中的softmax）。

2.随机变量（Random Variable）

简单地说，随机变量是指随机事件的数量表现，是可以『随机』地取不同值的『变量』。通常，用大写字母来表示随机变量本身，而用带数字下标的小写字母来表示随机变量能够取到的值。

例如， $X$ 为随机变量， $x_{1}$ 、 $x_{2}$ 、 $x_{i}$ 是随机变量 $X$ 可能的取值。

随机变量 Random Variable

随机变量可以分为『离散型随机变量』和『连续型随机变量』：

离散型随机变量（discrete random variable）：即在一定区间内变量取值为有限个（或可数个）。例如，某地区某年的出生人口数。
连续型随机变量（continuous random variable）：即在一定区间内变量取值为无限个（或数值无法一一列举出来）。例如，某地区男性健康成人的体重值。

3.随机向量（Random Vector）

随机向量 Random Vector

将几个随机变量按顺序放在一起，组成向量的形式，就是随机向量。

在样本空间全部都一样的情况下，一个 $n$ 维的随机向量是

$\overrightarrow{(\xi)}=\left(\begin{array}{c} x_{1}(\xi) \\ x_{2}(\xi) \\ \cdots \\ x_{n}(\xi) \end{array}\right)$

其中， $\xi$ 就是样本空间中的样本点。随机变量是 $1$ 维随机向量的特殊情况。

4.概率分布（Probability Distribution）

广义上，概率分布用于表述随机变量取值的概率规律。或者说，给定某随机变量的取值范围，概率分布表示该随机事件出现的可能性。

狭义地，概率分布指随机变量地概率分布函数，也称累积分布函数（Cumulative Distribution Function，CDF）。

概率分布 Probability Distribution

离散型随机变量的概率分布：

使用分布列描述离散型随机变量的概率分布，即给出离散型随机变量的全部取值及每个值的概率。
常见的离散型随机变量的分布有：单点分布、0-1分布、几何分布、二项分布、泊松分布等。

连续型随机变量的概率分布：

如果随机变量 $X$ 的分布函数为 $F (x)$ ，存在非负函数 $f (x)$ 使对于任意实数 $X$ 有 $F(x)=\int_{-\infty}^{x} f(t) dt$ ，则称 $X$ 为连续型随机变量，其中函数 $f (x)$ 称为 $X$ 的概率密度函数。

常见的连续型随机变量的分布有：正态分布、均匀分布、指数分布、 $t -$ 分布、 $F -$ 分布、 $\xi^{2}-$ 分布等。

机器学习中一个典型的概率分布应用，是分类问题中，很多模型最终会预估得到样本属于每个类别的概率，构成1个概率向量，表征类别概率分布。

5.条件概率（Conditional Probability）

条件概率 Conditional Probability

很多情况下我们感兴趣的是，某个事件在给定其它事件发生时出现的概率，这种概率叫条件概率。

给定 $A$ 时 $B$ 发生的概率记为 $\mid A)$ ，概率的计算公式为：

$\mid A)=\frac{P(A B)}{P(A)}$

6.贝叶斯公式（Bayes’ Theorem）

先看看什么是『先验概率』和『后验概率』，以一个例子来说明：

先验概率：某疾病在人群中发病率为 $0.1\%$ ，那某人没有做检验之前，预计患病率为 $P(\text { 患病 })=0.1 \%$ ，这个概率就叫做『先验概率』。

后验概率：该疾病的检测准确率为 $95\%$ ，即该病患者检测显示阳性的概率为 $95\%$ （检测显示阴性的概率为 $5\%$ ），即 $P(\text { 显示阳性|患病 })=95\%$ ；或者说未患病的检测者，检测结果显示阴性的概率为 $95\%$ ，检测显示阳性的概率为 $5\%$ 。那么，检测显示为阳性时，此人的患病概率 $P(\text { 患病| 显示阳性})$ 就叫做『后验概率』。

贝叶斯公式 Bayes' Theorem

贝叶斯公式：贝叶斯提供了一种利用『先验概率』计算『后验概率』的方法：

条件概率公式：

$\mid A)=\frac{P(A B)}{P(A)} \quad\quad\quad P(A \mid B)=\frac{P(A B)}{P(B)}$

由条件概率公式变换得到乘法公式：

$\mid A) P(A)=P(A \mid B) P(B)$

将条件概率公式和乘法公式结合：

$\mid A)=\frac{P(A \mid B) \cdot P(B)}{P(A)}$

引入全概率公式：

$P(A)=\sum_{i=1}^{N} P\left(A \mid B_{i}\right) \cdot P\left(B_{i}\right)$

将全概率代入 $\mid A)$ ，可以得到贝叶斯公式：

$P\left(B_{i} \mid A\right)=\frac{P\left(A \mid B_{i}\right) \cdot P\left(B_{i}\right)}{\sum_{i=1}^{N} P\left(A \mid B_{i}\right) \cdot P\left(B_{i}\right)}$