[深度学习]数学基础之概率论

极大似然估计

一言以蔽之，极大似然估计就是你现在观测到的样本应该是以最大概率出现的。

基本思路

假设每一个样本都相互独立且服从同一分布，即 $X\sim P(x;\mathbf{\theta })$ ，需要注意的是这个分布的形式 $P$ 和参数 $\mathbf{\theta }$ 是我们需要求的，一般情况下形式就是模型，均已提前假设，参数待求。现在我们观察到 $N$ 个样本：$X_1=x_1,X_2=x_2,\cdots ,X_N=x_N$ ，它们每一个样本的出现概率分别为 $P(X_1=x_1|\mathbf{\theta }),P(X_2=x_2|\mathbf{\theta }),\cdots ,P(X_N=x_N|\mathbf{\theta })$ ，那么这些样本同时出现在我们观测视线的概率为一个似然函数 $L=P(X_1=x_1,X_2=x_2,\cdots ,X_N=x_N|\mathbf{\theta })$ ，由于我们的假设是各个样本之间相互独立，因此有
$$\begin{array}{rl}L& =P(X_1=x_1|\mathbf{\theta })P(X_2=x_2|\mathbf{\theta })\cdots P(X_N=x_N|\mathbf{\theta })\end{array}$$
依据极大似然估计的思想，上述概率应该是最大的，我们的求解目标就是
$$\underset{\mathbf{\theta }}{\max }L$$
因此我们根据极值的必要条件需对 $L$ 进行求导，但是由于连乘的求导比较麻烦，我们做了一个技巧性处理 $\hat{L}=\ln L$，取其对数作为新的函数，称之为对数似然函数，即
$$\begin{array}{rl}\hat{L}& =\ln [P(X_1=x_1|\mathbf{\theta })P(X_2=x_2|\mathbf{\theta })\cdots P(X_N=x_N|\mathbf{\theta })]\\ & =\ln P(X_1=x_1|\mathbf{\theta })+\ln P(X_2=x_2|\mathbf{\theta })+\cdots +\ln P(X_N=x_N|\mathbf{\theta })\\ & =\sum _{i=1}^N\ln P(X_i=x_i|\mathbf{\theta })\end{array}$$
此时，求解目标便转化为
$$\underset{\mathbf{\theta }}{\max }\hat{L}$$
再对 $\hat{L}$ 似然函数进行求导
$$\begin{array}{r}\frac{\partial \hat{L}}{\partial \mathbf{\theta }}=0\end{array}$$
即可求解出参数 $\mathbf{\theta }$ 。

实例

假设样本服从一维的高斯分布 $P(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$ ，现在我们有 $N$ 个观察数据 $X_1=x_1,X_2=x_2,\cdots ,X_N=x_N$ 我们定义其对数似然函数
$$\begin{array}{rl}\hat{L}& =\ln [P(X_1=x_1|\mathbf{\theta })P(X_2=x_2|\mathbf{\theta })\cdots P(X_N=x_N|\mathbf{\theta })]\\ & =\ln [\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_1-\mu {)}^2}{2{\sigma }^2}}\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_2-\mu {)}^2}{2{\sigma }^2}}\cdots \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_N-\mu {)}^2}{2{\sigma }^2}}]\\ & =\ln [(\frac{1}{\sqrt{2\pi }\sigma }{)}^N{e}^{-\frac{(x_1-\mu {)}^2}{2{\sigma }^2}-\frac{(x_2-\mu {)}^2}{2{\sigma }^2}-\cdots -\frac{(x_N-\mu {)}^2}{2{\sigma }^2}}]\\ & =-N\ln \sqrt{2\pi }-N\ln \sigma -[\frac{(x_1-\mu {)}^2}{2{\sigma }^2}+\frac{(x_2-\mu {)}^2}{2{\sigma }^2}+\cdots +\frac{(x_N-\mu {)}^2}{2{\sigma }^2}]\end{array}$$
为求上式的最大值，我们需要对 $\hat{L}$ 进行求导
$$\begin{array}{rl}\frac{\partial \hat{L}}{\partial \mu }& =-\frac{1}{2{\sigma }^2}[-2(x_1-\mu )-2(x_2-\mu )-\cdots -2(x_N-\mu )]\\ & =\frac{1}{{\sigma }^2}[(x_1-\mu )+(x_1-\mu )+\cdots +(x_N-\mu )]\end{array}$$

$$\begin{array}{rl}\frac{\partial \hat{L}}{\partial \sigma }& =-\frac{N}{\sigma }+[(x_1-\mu {)}^2+(x_2-\mu {)}^2+\cdots +(x_N-\mu {)}^2])(\frac{1}{{\sigma }^3})\end{array}$$

分别令上面两式为零，得有偏估计
$$\begin{array}{rl}\mu & =\frac{x_1+x_2+\cdots +x_N}{N}\\ {\sigma }^2& =\frac{\sum _{i=1}^N(x_i-\mu {)}^2}{N}\end{array}$$

误差的高斯分布与最小二乘估计的等价性

我们已知 $N$ 个样本点 $({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),\cdots ,({\mathbf{x}}_N,y_N),{\mathbf{x}}_i\in {\mathbb{R}}^n,y_i\in {\mathbb{R}}^1$。在线性回归模型中，假设 $\widehat{y_i}={\mathbf{w}}^T{\mathbf{x}}_i,\mathbf{w}\in {\mathbb{R}}^n$ 。若拟合的误差 $e_i=y_i-\widehat{y_i}$ 服从标准高斯分布，即
$$e_i\sim \frac{1}{\sqrt{2\pi }}{e}^{-\frac{e_i^2}{2}}$$
由于各个误差之间相互独立，这个时候对误差 $e_i$ 应用极大似然估计，有
$$\hat{L}=-N\ln \sqrt{2\pi }-\frac{1}{2}[e_1^2+e_2^2+\cdots +e_N^2]$$
我们的目标就是
$$\begin{array}{rl}\max \hat{L}& \Rightarrow \min [e_1+e_2+\cdots +e_N]\\ & \Rightarrow \min [(y_1-{\mathbf{w}}^T{\mathbf{x}}_1{)}^2+(y_2-{\mathbf{w}}^T{\mathbf{x}}_2{)}^2+\cdots +(y_N-{\mathbf{w}}^T{\mathbf{x}}_N{)}^2]\end{array}$$
令 $J=(y_1-{\mathbf{w}}^T{\mathbf{x}}_1{)}^2+(y_2-{\mathbf{w}}^T{\mathbf{x}}_2{)}^2+\cdots +(y_N-{\mathbf{w}}^T{\mathbf{x}}_N{)}^2$ ，欲取其最小值需满足 $\frac{\partial J}{\partial \mathbf{w}}=0$ ，即
$$\begin{array}{rl}-2(y_1-{\mathbf{w}}^T{\mathbf{x}}_1){\mathbf{x}}_1+-2(y_2-{\mathbf{w}}^T{\mathbf{x}}_2){\mathbf{x}}_2+\cdots +-2(y_N-{\mathbf{w}}^T{\mathbf{x}}_N){\mathbf{x}}_N& =0\\ \sum _{i=1}^N{y}_i{\mathbf{x}}_i& =\sum _{i=1}^N({\mathbf{w}}^T{\mathbf{x}}_i){\mathbf{x}}_i\end{array}$$
对于上式需要做一下特殊的处理
$$({\mathbf{w}}^T{\mathbf{x}}_i){\mathbf{x}}_i={\mathbf{x}}_i({\mathbf{w}}^T{\mathbf{x}}_i)={\mathbf{x}}_i({{\mathbf{x}}_i}^T\mathbf{w})=({\mathbf{x}}_i{{\mathbf{x}}_i}^T)\mathbf{w}$$
得出
$$\sum _{i=1}^N({\mathbf{x}}_i{{\mathbf{x}}_i}^T)\mathbf{w}=\sum _{i=1}^N{\mathbf{x}}_i{y}_i$$
若 $\sum _{i=1}^N({\mathbf{x}}_i{{\mathbf{x}}_i}^T)$ 可逆，则有
$$\mathbf{w}=[\sum _{i=1}^N({\mathbf{x}}_i{{\mathbf{x}}_i}^T){]}^{-1}\sum _{i=1}^N{\mathbf{x}}_i{y}_i$$
令 $X=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_N]\in {\mathbb{R}}^{n\times N},{\mathbf{x}}_i\in {\mathbb{R}}^n,Y=[y_1,y_2,\cdots ,y_N]\in {\mathbb{R}}^{N\times 1}$ ，有
$$\mathbf{w}=(X{X}^T{)}^{-1}X{Y}^T$$
可以发现公式 $(8)$ 就是我们在线性回归中最小二乘法得到的结论。