深度学习中的高斯分布

1 高斯分布数学表达

1.1 什么是高斯分布

高斯分布(Gaussian Distribution)又称正态分布(Normal Distribution)。高斯分布是一种重要的模型，其广泛应用于连续型随机变量的分布中，在数据分析领域中高斯分布占有重要地位。由于中心极限定理(Central Limit Theorem)的广泛应用，高斯分布在统计学上非常重要。中心极限定理表明，由一组独立同分布，并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成，因而往往也具有高斯分布。

高斯分布的概率密度函数曲线呈钟形，因此又经常称之为钟形曲线。即随机变量X服从一个为数学期望μ、方差为σ^2的高斯分布，记为N(μ，σ^2)。在高斯分布中，以数学期望μ表示钟型的中心位置（也即曲线的位置），而标准差（standard deviation）σ表征曲线的离散程度。

​

当数学期望为0（u=0），方差为1（σ=1）时，该分布为标准正态分布（standard normal distribution）。下图展示了几种不同类型的正态分布概率密度函数曲线。

​

1.2 关键概念

• 概率函数：把事件概率表示成关于事件变量的函数

• 概率分布函数：一个随机变量ξ取值小于某一数值x的概率，这概率是x的函数，称这种函数为随机变量ξ的分布函数，简称分布函数，记作F(x)，即F(x)=P(ξ<x) (-∞<x<+∞)，由它并可以决定随机变量落入任何范围内的概率。

• 概率密度函数：

 概率密度等于变量在一个区间(事件的取值范围)的总的概率除以该段区间的长度。

概率密度函数是一个描述随机变量在某个确定的取值点附近的可能性的函数。 

1.3 一元高斯分布

若随机变量X服从均值为μ,方差为σ2的高斯分布，那么：

​

高斯分布的图形像钟一样，下图展示了一般正态分布的图形。其中 μ = 0 , σ = 1。