人工智能数学之高斯分布

0.参考

从高斯分布的导出讲起——为什么概率密度函数长成这个样子？ 作者：蓦风星吟

1.高斯分布的概率密度函数

$$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
$N(\mu ,{\sigma }^2)$，$\mu$反应的是位置，$\sigma$反应的是形状。

2.几个概念

2.1 似然（Likelihood）

第一点 什么是似然

简单通俗的来讲就是，一系列的概率密度函数的乘积，说白了也就是还是一种特别的复合的“概率”。比如对于正态分布，如果有独立同分布的观察值$x_1,x_2,\cdots ,x_n$，则其似然为：$$L(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}$$

我们也可以看到对于正态分布，这里还依赖于两个参数，就是$\mu$和$\sigma$的二元函数。当然在给其中一个参数的情况下，我们也可以将其看成关于另一个的函数。

第二点 最大似然（Maximum Likelihood）

对于正态这个似然，在给其中一个参数的情况下，我们也可以将其看成关于另一个的函数。因此，在给定一个标准的情况下，那么是不是可以基于观测值对其中的未知参数进行估计呢？这是个非常朴素想法，就好比方程的思想，原本一个函数，给定自变量，那么对应的函数值自然可以计算。反过来，若是给定一定函数值，理论上我们也希望试图找到对应的自变量。这个想法再进一步就是，给定一个标准，比如最大，最小，我们基于这个标准，也试图去寻找对应达到标准 （比如最大，最小函数值）所对应的自变量，这就是参数估计的思想。
回到最大似然发的核心，在这里这个标准就是使得似然函数（关于某一或某一些参数的）最大，然后去估计对应的参数（基于观测值）的值。
至于为什么选择似然函数呢，其实主要也是因为似然函数朴素简单的表达出一种概率，一个基于n次观测的整体的概率，这样的情况下，我们自然朴素的认为或者是希望，似然中包含的合理的参数应该使得我们整体的概率最大的一个或者是一组，因此才被我们观测到。

3.如何基于一些假设导出正态分布

实际的测量中，若$\mu$是分布均值的真实值，当然真实值我们永远不知道，只能希望根据观测值$x_1,x_2,\cdots ,x_n$尽可能的去估计它。首先我们记观察误差$x_i-\mu$的分布密度函数为$p(x_i-\mu )$，然后给出以下假设：

1.$p(x)$关于$x=0$对称，且对于一切$x$成立$p(x)>0$
2.$p(x)$具有连续的导函数

下面来考察这两个假设的合理性

1.首先$p(x)$关于$x=0$对称，这个假设非常合理，因为我们的似然误差分布密度函数为$p(x_i-\mu )$，也就是观测值与真实均值的差，这个自然在左右的可能性一样，不然这个观测试验也就有偏颇了，当然另一个理由就是经验，再说非负性要求，这个也是必须的，概率没有负的。
2.连续的导函数，这个是为了求导方便。

由于我们的观察误差$x_i-\mu$的分布密度函数为$p(x_i-\mu )$，那么此时的似然函数就是：$$L(\mu )=\prod _{i=1}^{n}p(x_i-\mu )$$
实际上，这个似然函数刻画了这组观测值落在真实均值$\mu$
附近的可能性大小。当然此处高斯还给出了一个重要的假设：

观察值的平均值$\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$作为未知参数$\mu$的估计值时，使得似然$L(\mu )$最大。

事实上，下面的推导主要还是依赖于这个假设。回头看看这个假设，其实也是符合逻辑和直观感受的，这表明观测的均值作为一个理论均值可以让似然函数最大。

4.高斯分布的导出的具体过程

若$\bar{x}$使得似然函数$L(\mu )$最大，则必要条件就是$\frac{dL(\mu )}{d\mu }{|}_{\mu =\bar{x}}=0$，再加上对数即:$$\frac{d\ln L(\mu )}{d\mu }{|}_{\mu =\bar{x}}=0$$，记$\frac{d\ln p(x)}{dx}=g(x)$，进一步就是$\frac{p^{{}^{\prime }}(x)}{p(x)}=g(x)$，代入到上式得：$$\begin{array}{rl}\frac{d\ln L(\mu )}{d\mu }{|}_{\mu =\bar{x}}& =\frac{d\ln {\prod }_{i=1}^{n}p(x_i-\mu )}{d\mu }{|}_{\mu =\bar{x}}\\ & =\frac{d{\sum }_{i=1}^n\ln p(x_i-\mu )}{d\mu }{|}_{\mu =\bar{x}}\\ & =\sum _{i=1}^n\\ & \\ & \\ & \end{array}$$