高斯关于正态分布的推导

本文是对网上高斯推导方式的总结，高斯推导的原文我并没有看过

定义

1. 连续变量$X_i,i=\mathrm{1..}n$为独立同分布的随机变量，其样本数学期望为$E(X_i)=\overline{X_i}$,总体期望为$\mu$；样本方差为$D(X_i)$，总体方差为${\sigma }^2$
2. 该变量的抽样误差（即$X_i-\mu$）遵循分布$N$，其概率密度函数为$f$

假设

1. 对于总体的无偏抽样，样本期望和总体期望相等$E(X_i)=\mu$，样本方差和总体方差相等。由此可以推论得到概率密度函数是偶函数。
2. 概率密度函数为连续且可导的

目标

求函数$f$，使得当下抽样误差发生的概率最大，即函数$L(x)=\prod _{i=1}^{n}f(X_i-x)$在$x=\mu$处取得最大值（极大似然估计）

求解

由于自然对数单调增，对$L(X_i)=\prod _{i=1}^{n}f(X_i-x)$等式两边取对数
$$\begin{array}{c}\ln L(x)=\sum _{i=1}^n\ln f(X_i-x)\end{array}\text{\hspace{1em}(1)}$$
对公式两边求导可得
$$\frac{L^{\prime }(x)}{L(x)}=\sum _{i=1}^n\frac{f^{\prime }(X_i-x)}{f(X_i-x)}\text{\hspace{1em}(2)}$$
由定义可知$\frac{1}{L(x)}$恒大于0，那么$L^{\prime }(x)=0和\frac{L^{\prime }(x)}{L(x)}=0$的解相同

为了简化公式，此处定义函数$g(x)=\frac{f^{\prime }(x)}{f(x)}$

对于连续函数而言，极值点必然是驻点，再结合所求的目标，则有
$$\sum _{i=1}^{n}g(X_i-\mu )=0\text{\hspace{1em}(3)}$$
不妨将$(3)$式视作关于变量$X_i$的多元函数，其中$\mu$为定值，于是再次对等式两侧求偏导。

对于$X_1$的求偏导后有
$$\begin{array}{c}{g}^{\prime }(X_1-\mu )(1-\frac{1}{n})+g^{\prime }(X_2-\mu )(-\frac{1}{n})+...+g^{\prime }(X_n-\mu )(-\frac{1}{n})=0\end{array}\text{\hspace{1em}(4.1)}$$
以此类推，对于$X_i$有
$$\begin{array}{c}{g}^{\prime }(X_1-\mu )(-\frac{1}{n})+g^{\prime }(X_2-\mu )(-\frac{1}{n})+...+g^{\prime }(X_i-\mu )(1-\frac{1}{n})+...+g^{\prime }(X_n-\mu )(-\frac{1}{n})=0\end{array}\text{\hspace{1em}(4.i)}$$
将$(4.1)\sim (4.n)$联立后可得齐次线性方程组$\text{AX}=\text{0}$，写成矩阵形式有
$$\left[\begin{array}{ccc}\begin{array}{cc}1-\frac{1}{n}& -\frac{1}{n}\\ -\frac{1}{n}& 1-\frac{1}{n}\end{array}& \dots & \begin{array}{cc}-\frac{1}{n}& -\frac{1}{n}\\ -\frac{1}{n}& -\frac{1}{n}\end{array}\\ ⋮& \ddots & ⋮\\ \begin{array}{cc}-\frac{1}{n}& -\frac{1}{n}\\ -\frac{1}{n}& -\frac{1}{n}\end{array}& \dots & \begin{array}{cc}1-\frac{1}{n}& -\frac{1}{n}\\ -\frac{1}{n}& 1-\frac{1}{n}\end{array}\end{array}\right]\times \left[\begin{array}{c}{g}^{‘}(X_1-\mu )\\ g^{‘}(X_2-\mu )\\ ⋮\\ g^{‘}(X_{n-1}-\mu )\\ g^{‘}(X_n-\mu )\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 0\\ 0\end{array}\right]$$
对系数矩阵进行初等变换
$$\begin{array}{rl}\text{A}& \stackrel{r_i-r_n}{\underset{i>1}{\sim }}\left[\begin{array}{ccc}\begin{array}{cc}1& 0\\ 0& 1\end{array}& \dots & \begin{array}{cc}0& -1\\ 0& -1\end{array}\\ ⋮& \ddots & ⋮\\ \begin{array}{cc}0& 0\\ -\frac{1}{n}& -\frac{1}{n}\end{array}& \dots & \begin{array}{cc}1& -1\\ -\frac{1}{n}& 1-\frac{1}{n}\end{array}\end{array}\right]\\ & \stackrel{n\ast r_n}{\sim }\left[\begin{array}{ccc}\begin{array}{cc}1& 0\\ 0& 1\end{array}& \dots & \begin{array}{cc}0& -1\\ 0& -1\end{array}\\ ⋮& \ddots & ⋮\\ \begin{array}{cc}0& 0\\ -1& -1\end{array}& \dots & \begin{array}{cc}1& -1\\ -1& n-1\end{array}\end{array}\right]\\ & \stackrel{r_n+\Sigma r_i}{\underset{i<n}{\sim }}\left[\begin{array}{ccc}\begin{array}{cc}1& 0\\ 0& 1\end{array}& \dots & \begin{array}{cc}0& -1\\ 0& -1\end{array}\\ ⋮& \ddots & ⋮\\ \begin{array}{cc}0& 0\\ 0& 0\end{array}& \dots & \begin{array}{cc}1& -1\\ 0& 0\end{array}\end{array}\right]\end{array}$$
由此可得解为
$$\begin{array}{r}\text{X}=\left[\begin{array}{c}{g}^{\prime }(X_1-\mu )\\ g^{\prime }(X_2-\mu )\\ ⋮\\ g^{\prime }(X_{n-1}-\mu )\\ g^{\prime }(X_n-\mu )\end{array}\right]=\left[\begin{array}{c}c\\ c\\ ⋮\\ c\\ c\end{array}\right]\end{array}\text{\hspace{1em}(5)}$$
即$g^{\prime }(X_1-\mu )=g^{\prime }(X_2-\mu )=..=g^{\prime }(X_n-\mu )=c$,

因为样本由随机抽样生成，且函数为光滑且连续的，所以$g^{\prime }(x)=c$始终成立

因此有$g(x)=cx+b$

结合我们之前的假设1中的推论，$g(x)$显然是奇函数，所以$g(x)=cx$

所以有$\frac{\mathrm{d}f(x)}{f(x)\mathrm{d}x}=cx$

变形后等式两边求不定积分可得
$$f(x)=c_1{e}^{\frac{1}{2}{c}_2{x}^2}\text{\hspace{1em}(6)}$$
根据概率密度函数的定义：${\int }_{-\infty }^{+\infty }f(x)\mathrm{d}x=1$，则有
$${\int }_{-\infty }^{+\infty }{c}_1\ast e^{\frac{1}{2}{c}_2{x}^2}\mathrm{d}x=1$$
不妨令$I={\int }_{-\infty }^{+\infty }{c}_1\ast e^{\frac{1}{2}{c}_2{x}^2}\mathrm{d}x$,则
$$I^2=\iint c_1^2\ast e^{\frac{1}{2}{c}_2(x^2+y^2)}\mathrm{d}x\mathrm{d}y$$
化为极坐标形式则有
$$\begin{array}{rl}{I}^2& =\iint c_1^2\ast e^{\frac{1}{2}{c}_2{\rho }^2}\rho \mathrm{d}\rho \mathrm{d}\theta \\ & ={\int }_0^{2\pi }{c}_1^2\mathrm{d}\theta {\int }_0^{+\infty }\rho e^{\frac{1}{2}{c}_2{\rho }^2}\mathrm{d}\rho \\ & ={\int }_0^{2\pi }\frac{c_1^2}{c_2}\mathrm{d}\theta {\int }_0^{+\infty }{c}_2\rho e^{\frac{1}{2}{c}_2{\rho }^2}\mathrm{d}\rho (显然此处c_2<0)\\ & ={\int }_0^{2\pi }-\frac{c_1^2}{c_2}\mathrm{d}\theta \\ & =-2\pi \frac{c_1^2}{c_2}\end{array}\text{\hspace{1em}(7)}$$
高斯这里直接猜测$c_2=-\frac{1}{{\sigma }^2}$，我对此的推测是或许这么做正好可以在指数项量纲上做到相互抵消（高斯最开始是在研究天体观测中推导出这个分布的），但是这个说法也有问题，因为最后这个概率密度函数并不是没有单位的。我看到另一个说法可能是高斯是受到$e^{-x^2}$的形式的启发，但是我认为有点过于牵强了。根据上式则可以得到解为
$$\{\begin{array}{l}{c}_1=\frac{1}{\sigma \sqrt{2\pi }}\\ c_2=-\frac{1}{{\sigma }^2}\end{array}\text{\hspace{1em}(8)}$$
结合之前的讨论和$(6)$式可以得到正态分布的一维形式
$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\text{\hspace{1em}(9)}$$

矩阵形式

矩阵形式将单个变量的情况推广到成对变量构成的形式

定义

1. $\mathbf{X}$为来自不同分布的抽样$m$次结果向量${\mathbf{x}}_{\mathbf{i}}$构成的列向量，即$X=(x_1,x_2,...,x_n{)}^T,其中{\mathbf{x}}_{\mathbf{i}}=(x_{i,1},x_{i,2},...,x_{i,m}{)}^T$
2. $\mathbf{\mu }$为每个分布的总体均值列向量，即$\mathbf{\mu }=({\mu }_1,{\mu }_2,...,{\mu }_n{)}^T$
3. $\mathbf{\Sigma }$为$n$阶协方差矩阵，即 Σ = { c i j ∣ i , j = 1.. n } ，其中 c i j = E { [ x i − E ( x i ) ] [ x j − E ( x j ) ] } \boldsymbol{\Sigma}=\{c_{ij}|i,j=1..n\}，其中c_{ij}=E\{[\boldsymbol{x_i}-E(x_i)][\boldsymbol{x_j}-E(x_j)]\} Σ={cij​∣i,j=1..n}，其中cij​=E{[xi​−E(xi​)][xj​−E(xj​)]}
4. 对于所有总体的无偏抽样，样本期望和总体期望均相等，即$E({\mathbf{x}}_{\mathbf{i}})={\mu }_i$，样本方差和总体方差相等。由此可以推论得到概率密度函数是偶函数。
5. 所有概率密度函数均为连续且可导的

多维形式

每次抽样均为成对从分布$i,j$分别抽样，似然函数矩阵为
$$f(x_1,x_2,..,x_n)=\frac{1}{\sqrt{(2\pi {)}^k|\mathbf{\Sigma }|}}{e}^{-\frac{(\mathbf{X}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{X}-\mathbf{\mu })}{2}}$$