概率统计：围观高斯分布

高斯分布，又称正态分布，服从高斯分布的噪音叫白噪音，在概率论、数理统计中的地位大概是最重要的分布，没有之一。看名字就牛得不得了，用数学王子高斯命名，又称“正态”，其他的分布都“不正”。概率论中，最核心的两类定理，一个叫大数定理，另一个叫中心极限定理，中心极限就是正态分布，没听说过的是概率盲，看不懂的概率跛脚，不会用的概率不及格。
高斯分布这么重要，为什么？怎么发现的，又有那些独特性质，来围观一下。

一 发现高斯分布

事实上，在高斯分布被发现之前，就有了最小似然估计方法，高斯分布正是通过最小似然估计发现的。起源于在估计测量误差。最简单的测量长度，初中老师就教我们要进行多次测量，然后求平均值得到长度，这样可以消减误差；测量金属丝直径的时候，老师教我们弄根棍子，然后将金属丝平整绵密的缠在棍子上n圈，然后测量棍子被缠部分长度，除以圈数，就得到了金属丝的直径。
假设一根棍子的真实长度为$u_0$，被测量了无数次，测量长度是一个随机变量$X$,每次测得的长度记为$x_i,i=1..n$是$X$的观测值，统计学家关心俩个事，棍子的真实长度$u_0$,和$X$的分布。
假设随机变量$X$的密度函数为$p(x)$,合理的假设件事：

1、$p(x)$关于$u$是对称的,对任意$\Delta x\ge0$，有：$p(u_0-\Delta x)=p(u_0+\Delta x)$
2、$p(x)$是连续并且可导的，极端点要求是光滑的（存在任意阶导数）。
3、测量所得的均值就是棍子的真实长度，$u_0=\frac{1}{n}\sum_{i=1}^nx_i =\bar x$
根据极大似然估计有：

$$l(u)=\frac{1}{n}\sum_{i=1}^nln(p(x_i-u))\\ $$
由对称性可知， $l(u)$在 $u=u_0$处取得极值，即 $\frac{d l(u)}{ d u}\mid_{u=u_0}=0$
记 $g(x)=\frac{dln(p(x))}{dx}=\frac{p'(x)}{px}$
则有：
$$\frac{d l(u)}{ d u}\mid_{u=u_0}=\frac{1}{n}\sum_{i=1}^ng(x_i-u_0)=0\\ \sum_{i=1}^ng(x_i-u_0)=0$$
根据第三个假设,测量的时候就是以测量的均值代替棍子真实长度。这个假设很重要，今天来看也是合理，根据大数定理有：
$$\frac{1}{n}\sum_{i=1}^nx_i= \bar x \overset{p}\to u_0$$
在这个假设下，得到：
$$\sum_{i=1}^ng(x_i-\bar x)=0$$
简单考虑 $n=3$的情况，即 $e_i=x_i-\bar x \to \sum_{i=1}^3 e_i =0$
由此有：
$$g(e_1)+g(e_2)+g(e_3)=0 \to g(e_1)+g(e_2)+g(-e_1-e_2)=0$$

1. 当$e_1=e_2=e_3=0$时，有$3g(0)=0 \to g(0)=0$
2. 当$e_1=0$是，有$e_2=-e_3$,此时：$g(e_1)+g(e_2)+g(e_3)=g(e_1)+g(-e_1)=0 \to g(-x)=-g(x)$,$g(x)$是中心对称的。
3. 当$e_2=\Delta x,e_1=x$此时：$g(x)+g(\Delta x)=g(x+\Delta x)$,所以有：
   $$\begin{array}{left} &g(x)+g(\Delta x)=g(x+\Delta x)\\ \Rightarrow & \frac {g(\Delta x)}{\Delta x}=\frac {g(x+\Delta x)-g(x)}{\Delta x}\\ \because & g(0)=0 \\ \Rightarrow &\underset{\Delta x \to 0}\lim\frac {g(\Delta x)-g(0)}{\Delta x}=\underset{\Delta x \to 0}\lim\frac {g(x+\Delta x)-g(x)}{\Delta x}\\ \Rightarrow &g'(x)=g'(0) \equiv a \\ \Rightarrow &g(x)=a x +c \quad \because g(0)=0 \to c=0\\ \Rightarrow & g(x)=a x \quad \# 线性函数\\ \Rightarrow & ln(p(x))=0.5a x^2+c\\ \Rightarrow & p(x)=e^ce^{0.5a x^2}\\ \end{array}$$
   显然,根据密度函数的性质，当$x\to \infty$时，要求密度函数$p(x)\to 0$，因此必然要求$a<0$,改记$a \equiv \frac{-1}{\sigma^2}$
   我们得到了一个密度函数，$p(x)=e^ce^{\frac{-x^2}{2\sigma^2}}$,根据分布函数性质$\int_{-\infty}^{\infty}p(x)dx=1$,做一些数学上的运算,就可以得到$p(x)$的完整表达式$p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{\frac{-x^2}{2\sigma^2}}$，回到测量问题，$X$的密度函数是 $$p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-u)^2}{2\sigma^2}}$$ .

以上就是高斯分布首次发现的过程，最先由数学家棣莫弗公布，不过在他公布之后，数学王子高斯说他早就发现了,最后高斯赢了，现在叫正态分布（Normal Distribution），英文名看起来叫“普通分布”，别的分布都不够普通，地位很特殊呀。
高斯就是那一代数学家的珠穆朗玛峰，数学才华横溢，他的发现很多都不公布，等别人发布了，他就说这个结论我早得到了，才华压制几代数学家，那个时代数学家就怕撞墙高斯。

二 从特征函数来看高斯分布

与特征函数功能相类似的还有矩母函数,$M_x(t)=E(e^{tx})$，但是矩母函数的收敛性能不好主要是$\mid e^{tx}\mid$是指数函数，容易导致积分发散，因此很多分布函数不一定有矩母函数。特征函数没有这个问题。
特征函数就是对随机变量$X$的密度函数做傅里叶变换，表达式是：

$$\varphi_X(t)=E(e^{itX})=\int_{-\infty}^{\infty}e^{itx}p(x)dx$$
因为 $\mid e^{itx}\mid=1$,随机变量一定有唯一特征函数和唯一的分布函数，而且特征函数与分布函数是一一对应的。

$$\vert \varphi_X(t)\vert \le\int_{-\infty}^{\infty}\vert e^{itx}p(x)\vert dx\\ = \int_{-\infty}^{\infty}\vert e^{itx}\vert*\vert p(x)\vert dx\\ = \int_{-\infty}^{\infty} p(x) dx=1\\ $$

下面推导高斯分布的特征函数：

∵⇒⇒