高斯分布归一化、期望、二阶矩、方差推导证明

原创已于 2025-06-19 11:02:15 修改 · 1.3w 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#高斯分布 #期望 #方差 #归一化 #性质推导证明

于 2019-07-15 11:08:18 首次发布

PMRL读书笔记专栏收录该内容

1 篇文章

订阅专栏

这篇博客详细介绍了高斯分布的归一化、期望和方差的推导过程。作者在研究深度学习时意识到微积分的重要性，并尝试自己推导高斯分布的数学性质。归一化通过极坐标转换得以证明，期望的求解相对直接，而二阶矩的推导涉及Gamma函数。方差的计算则利用一阶矩和二阶矩。博客最后提到，作者计划完成更全面的公式推导笔记。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写在前面的唠叨：

最近这段时间一直在研究深度学习之类的东西，虽然如今对几种常见的神经网络都有了很好的了解，用起来也比较顺手，但是越学也越觉得瓶颈越来越明显了，最大的问题觉得还是数学基础不行，学习那些常见的模型已经把线性代数的知识捡的差不多了，而到了想自己设计模型的时候，才忽然发现微积分也是十分重要的，而这两年我都还给老师了呀T_T。所以把PRML这本书又翻了出来，推导一下里面的公式。

然而刚看到高斯分布里面的方差推导就抽了我一嘴巴，去网上查了查发现这部分推导大家写的都挺乱的，于是自己总结了一下，留作记录，省的以后在看的时候到处乱查，重新推……

归一化推导证明：

证明归一化，即证明：

$\begin{aligned} \int_{-\infty }^{+\infty}N(x|\mu, \sigma^2)dx &=1 \end{aligned}$

首先我们将其展开：

$\begin{aligned} \int_{-\infty }^{+\infty}N(x|\mu, \sigma^2)dx &=& \int_{-\infty }^{+\infty}\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx \\ &=& \tfrac{1}{\sqrt{2\pi}\sigma }\int_{-\infty }^{+\infty}exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx \end{aligned}$

这里将 $x-\mu$ 替换掉有：

$\int_{-\infty }^{+\infty}N(x|\mu, \sigma^2)dx = \tfrac{1}{\sqrt{2\pi}\sigma }\int_{-\infty }^{+\infty}exp\{-\tfrac{1}{2\sigma^2}x^2\}dx$

这里假设：

$\begin{aligned} I &= \int_{-\infty }^{+\infty}exp\{-\tfrac{1}{2\sigma^2}x^2\}dx \end{aligned}$

这个积分直接计算比较困难，但是可以绕个弯，采用极坐标的方式计算，首先我们将其求其平方：

$\begin{aligned} I^2 & = \int_{-\infty }^{+\infty}\int_{-\infty }^{+\infty}exp\{-\tfrac{1}{2\sigma^2}(x^2 + y^2)\}dxdy \end{aligned}$

在将其转化为极坐标，令 $x = cos\theta r ,\ y = sin\theta r$ 可得：

$\begin{aligned} I^2 & = \int_{0 }^{2\pi}\int_{0 }^{+\infty}exp\{-\tfrac{r^2}{2\sigma^2}\}rdrd\theta \\ &= \pi \int_{0}^{+\infty}exp\{-\tfrac{r^2}{2\sigma^2}\}dr^2 \\ &= 2 \pi \sigma^2 \end{aligned}$

即：

$\begin{aligned} \int_{-\infty }^{+\infty}N(x|\mu, \sigma^2)dx &=\tfrac{1}{\sqrt{2\pi}\sigma } I \\ & = 1 \end{aligned}$

恩！大功告成！

期望（一阶矩）推导证明：

证明期望就比较简单了~

$\begin{aligned}E(X) & = \int_{-\infty }^{+\infty}xN(x|\mu, \sigma^2)dx \\ &= \int_{-\infty }^{+\infty}x\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx \end{aligned}$

将 $x-\mu$ 替换掉有：

$\begin{aligned}E(X) &= \int_{-\infty }^{+\infty}(x+\mu)\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx \\ &= \int_{-\infty }^{+\infty}x\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx + \int_{-\infty }^{+\infty}\mu\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx \\ \end{aligned}$

这里 $\int_{-\infty }^{+\infty}x\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx$ 为奇函数，所以该项积分为0，所以：

$\begin{aligned}E(X) &= \int_{-\infty }^{+\infty}\mu\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx \\ &= \mu \int_{-\infty }^{+\infty}\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx \\ &= \mu \int_{-\infty }^{+\infty}N(x|0, \sigma^2)dx \\ &= \mu\end{aligned}$

二阶矩推导证明：

就是这个东西，推了一上午都没推出来，最后还是的问了周围考研的同学，真是耻辱，被挂起来抽。这里给出了两种推导方式：

1. 展开利用Gamma函数进行求解：

$\begin{aligned}E(X^2) & = \int_{-\infty }^{+\infty}x^2N(x|\mu, \sigma^2)dx \\ &= \int_{-\infty }^{+\infty}x^2\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx \\ \end{aligned}$

将 $x-\mu$ 替换掉有：

$\begin{aligned}E(X^2) & = \int_{-\infty }^{+\infty}(x+\mu)^2\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx \\ &= \int_{-\infty }^{+\infty}x^2\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx + \int_{-\infty }^{+\infty}2x\mu\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx + \int_{-\infty }^{+\infty}\mu^2\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx \\ &= \int_{-\infty }^{+\infty}x^2\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx + 0 + \mu^2 \\ &=\tfrac{4\sigma}{\sqrt{2\pi} }\int_{0 }^{+\infty}\tfrac{x^2}{2\sigma^2 }exp\{-\tfrac{1}{2\sigma^2}x^2\}dx + \mu^2 \end{aligned}$

这里令第一项中 $\tfrac{x^2}{2\sigma^2 } = t$ ，即有：

$\begin{aligned}E(X^2) & = \tfrac{2\sigma^2}{\sqrt{\pi} }\int_{0 }^{+\infty}\sqrt{t}e^{-t}dx + \mu^2 \\ &= \tfrac{2\sigma^2}{\sqrt{\pi} }\Gamma ( \tfrac{3}{2}) + \mu^2 \\ &= \tfrac{2\sigma^2}{\sqrt{\pi} } \tfrac{\sqrt{\pi}}{2 } + \mu^2 \\ &= \sigma^2 + \mu^2 \end{aligned}$

这里用到了 $\Gamma()$ 函数，也就是我们通常说的伽马函数，它的定义是这样的：

$\Gamma(z) = \int_{0 }^{+\infty}\frac{t^{z-1}}{e^t}dt$

这里有几个特殊值，感兴趣的话可以记一下。

$\begin{array}{rcccl} \Gamma\left(-\tfrac{3}{2}\right) &=& \tfrac{4}{3} \sqrt{\pi} &\approx& 2.363\,271\,801\,207 \\ \Gamma\left(-\tfrac{1}{2}\right) &=& -2\sqrt{\pi} &\approx& -3.544\,907\,701\,811 \\ \Gamma\left(\tfrac{1}{2}\right) &=& \sqrt{\pi} &\approx& 1.772\,453\,850\,906 \\ \Gamma(1) &=& 0! &=& 1 \\ \Gamma\left(\tfrac{3}{2}\right) &=& \tfrac{1}{2}\sqrt{\pi} &\approx& 0.886\,226\,925\,453 \\ \Gamma(2) &=& 1! &=& 1 \\ \Gamma\left(\tfrac{5}{2}\right) &=& \tfrac{3}{4}\sqrt{\pi} &\approx& 1.329\,340\,388\,179 \\ \Gamma(3) &=& 2! &=& 2 \\ \Gamma\left(\tfrac{7}{2}\right) &=& \tfrac{15}{8}\sqrt{\pi} &\approx& 3.323\,350\,970\,448 \\ \Gamma(4) &=& 3! &=& 6 \end{array}$

特殊值内容来自中文wiki，所以出错了不负责哦，嘿嘿……

当然这里用到了伽马函数，也可以采用不用伽马函数的方法。

2. 直接积分求解：

啊~这个就是我同学的方法，实名感谢猛某，如果多年后您看见这篇博客别忘了朝我要稿费。

$\begin{aligned}E(X^2) & = \int_{-\infty }^{+\infty}x^2N(x|\mu, \sigma^2)dx \\ &= \int_{-\infty }^{+\infty}x^2\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx \\ &= \int_{-\infty }^{+\infty}\tfrac{(x-\mu)(x+\mu) +\mu^2}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx \\ &= \int_{-\infty }^{+\infty}\tfrac{(x-\mu)(x+\mu)}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx + \mu^2\int_{-\infty }^{+\infty}\tfrac{ 1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx \\ &= \int_{-\infty }^{+\infty}-\tfrac{(x+\mu)\sigma}{\sqrt{2\pi} }dexp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\} + \mu^2 \\ &= -\tfrac{(x+\mu)\sigma}{\sqrt{2\pi} }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}|^{+\infty}_{-\infty} + \int_{-\infty }^{+\infty}\tfrac{\sigma}{\sqrt{2\pi} }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx + \mu^2 \\ &= 0 + \sigma^2\int_{-\infty }^{+\infty}\tfrac{1}{\sqrt{2\pi}\sigma }exp\{-\tfrac{1}{2\sigma^2}(x-\mu)^2\}dx + \mu^2 \\ &= \sigma^2 + \mu^2 \end{aligned}$