机器学习数学公式推导之高斯分布

本文参考 B站UP: shuhuai008 跳转 🌹🌹

1、介绍引入

• 在统计学和概率论中，$P(x|k)$ 通常表示在给定条件 $k$ 下，事件 $x$ 发生的条件概率。条件概率是描述两个或多个事件之间关系的概率，其中一个事件的发生依赖于另一个事件的发生。

• 具体来说，$P(x|k)$ 的定义是：在事件 $k$ 已经发生的条件下，事件 $x$ 发生的概率。这个定义可以用以下公式来表示：

$$P(x|k)=\frac{P(x\cap k)}{P(k)}$$

其中，$P(x\cap k)$ 表示事件 $x$ 和事件 $k$ 同时发生的概率，而 $P(k)$ 表示事件 $k$ 发生的概率。

P1 系列一 绪论-资料介绍

P2 系列一 绪论-频率派VS贝叶斯派

对概率的诠释有两大学派，一种是频率派另一种是贝叶斯派。后面我们对观测集采用下面记号：

频率—> 统计机器学习 优化模型 Loss function

贝叶斯 —> 概率图模型 求积分

$$X_{N\times p}=(x_1,x_2,\cdots ,x_N{)}^T,x_i=(x_{i1},x_{i2},\cdots ,x_{ip}{)}^T$$
这个记号表示有 $N$ 个样本，每个样本都是 $p$ 维向量。其中每个观测都是由 $p(x|\theta )$ 生成的。

1.1 频率派的观点

$p(x|\theta )$中的 $\theta$ 是一个常量。对于 $N$ 个观测来说观测集的概率为

$$p(X|\theta )\underset{iid}{=}\prod _{i=1}^{N}p(x_i|\theta ))$$
。为了求 $\theta$ 的大小，我们采用最大对数似然MLE的方法：
$${\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}\log p(X|\theta )\underset{iid}{=}\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log p(x_i|\theta )$$

1.2 贝叶斯派的观点

• 全概率

$$P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$

• 贝叶斯

$$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{{\sum }_{j=1}^{n}P(A_j)P(B|A_j)}$$

这里，P(A_i|B) 表示在事件 $ B $ 已经发生的条件下，事件 $ A_i $ 发生的条件概率。公式的分母是事件 $ B $ 的全概率，即 $ P(B) $，它是通过全概率公式计算得到的。

贝叶斯派认为 $p(x|\theta )$ 中的 $\theta$ 不是一个常量。这个 $\theta$ 满足一个预设的先验的分布 $\theta \sim p(\theta )$ 。于是根据贝叶斯定理依赖观测集参数的后验可以写成：
$$p(\theta |X)=\frac{p(X|\theta )\cdot p(\theta )}{p(X)}=\frac{p(X|\theta )\cdot p(\theta )}{\underset{\theta }{\int }p(X|\theta )\cdot p(\theta )d\theta }$$
为了求 $\theta$​​ 的值，我们要最大化这个参数后验MAP：

---

📢注意：这里还有个P(X) 省去，因为在关于$\theta$​的函数中，X相当于常量

---

$${\theta }_{MAP}=\underset{\theta }{\mathrm{argmax}}p(\theta |X)=\underset{\theta }{\mathrm{argmax}}p(X|\theta )\cdot p(\theta )$$
其中第二个等号是由于分母和 $\theta$ 没有关系。求解这个 $\theta$ 值后计算
$$\frac{p(X|\theta )\cdot p(\theta )}{\underset{\theta }{\int }p(X|\theta )\cdot p(\theta )d\theta }$$

，就得到了参数的后验概率。其中 $p(X|\theta )$​ 叫似然，是我们的模型分布。得到了参数的后验分布后，我们可以将这个分布用于预测贝叶斯预测：

---

注意：边缘概率 应为p(x,t|X)=p(x|t,X)p(t|X) 联合概率密度与条件概率的结合

---

$$p(x_{new}|X)=\underset{\theta }{\int }p(x_{new}|\theta )\cdot p(\theta |X)d\theta$$

其中积分中的被乘数是模型，乘数是后验分布。

1.3 小结

频率派和贝叶斯派分别给出了一系列的机器学习算法。频率派的观点导出了一系列的统计机器学习算法而贝叶斯派导出了概率图理论。在应用频率派的 MLE 方法时最优化理论占有重要地位。而贝叶斯派的算法无论是后验概率的建模还是应用这个后验进行推断时积分占有重要地位。因此采样积分方法如 MCMC 有很多应用。

2、数学基础

• 幂集P®指原集合中所有的子集（包括全集和空集）构成的集族。

• 群：一个集合对二元运算封闭，且有单位元、逆元，满足结合律

• 阿贝尔群：满足交换律的群

• 环：阿贝尔群+乘法

• 域：若逆运算也封闭，则称为域or代数，相当于对除法也封闭了。

---

• 在概率统计理论中，如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量是独立同分布(iid)

• 【概率论与数理统计】一个视频让你明白分布函数，概率密度函数，分布律，联合概率密度，联合分布函数，联合分布律，边缘概率密度，边缘分布函数都是什么意义和概念_哔哩哔哩_bilibili 理解容易

• 如何通俗地解释协方差｜马同学图解数学_哔哩哔哩_bilibili 理解容易

• 如何用概率论解决真实问题？用随机变量去建模，最大的难题是相关关系_哔哩哔哩_bilibili 理解难度高

• 卡方分布 （chi-square distribution） - 统计学_哔哩哔哩_bilibili 容易理解

2.1 二阶中心矩

二阶中心矩是数据与其均值之差的平方的平均值。对于一组数据 X = { x 1 , x 2 , … , x n } X = \{x_1, x_2, \ldots, x_n\} X={ x1​,x2​,…,xn​}，其二阶中心矩 $M_2$ 的 LaTeX 公式为：

$$M_2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2$$

其中，$\mu$ 是数据的均值，即 $\mu =\frac{1}{n}{\sum }_{i=1}^n{x}_i$。但注意，在二阶中心矩的严格定义中，我们通常使用总体均值 $\mu$。然而，在实际应用中，当我们只有样本数据时，我们可能会用样本均值 $\bar{x}$ 来代替 $\mu$。

2.2 样本方差

样本方差是样本数据与其样本均值之差的平方的平均值，但通常我们会乘以一个因子 $\frac{n}{n-1}$（称为贝塞尔校正因子）来得到无偏估计。对于一组样本数据 X = { x 1 , x 2 , … , x n } X = \{x_1, x_2, \ldots, x_n\} X={ x1​,x2​,…,xn​}，其样本方差 $s^2$​ 的 LaTeX 公式为：
$$s^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

其中，$\bar{x}$ 是样本均值，即 $\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$​。

总结

• 二阶中心矩通常使用总体均值来计算，但在只有样本数据时，也可以用样本均值来近似。
• 样本方差是二阶中心矩在样本数据上的具体应用，但乘以了一个贝塞尔校正因子 $\frac{n}{n-1}$ 以得到无偏估计。
• LaTeX 公式清晰地展示了这些统计量的数学表达式。

P3 (系列二) 数学基础-概率-高斯分布1 极大似然估计

2.3 高斯分布

2.3.1 一维情况 MLE

• 一维情况 最大似然估计

高斯分布（Gaussian distribution）和正态分布（Normal distribution）在统计学和概率论中是同一个概念的不同称呼。

当说一个随机变量 $Y$ 服从正态分布（或高斯分布），并且其分布的参数是均值（mean）$\mu$ 和标准差（standard deviation）$\sigma$ 时，我们写作 $Y\sim N(\mu ,{\sigma }^2)$。注意，虽然你写的是 $Y\sim N(\mu ,\sigma )$，但通常标准差 $\sigma$ 是以平方的形式 ${\sigma }^2$ 出现在正态分布的表示中，以表示方差（variance）。方差是标准差的平方，它衡量了数据分布的离散程度。

正态分布的概率密度函数（Probability Density Function, PDF）为：

f ( y ∣ μ , σ 2 ) = 1 2 π σ 2 e − ( y − μ ) 2 2 σ 2 f(y|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(y-\mu)^2}{2\si