高斯分布(Gaussian Distribution),也称正态分布,是概率论和统计学中最重要的分布之一。以下是它的一些关键性质和特点:
1. 概率密度函数 (PDF)
高斯分布的概率密度函数为:
f
(
x
)
=
1
2
π
σ
2
e
−
(
x
−
μ
)
2
2
σ
2
f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}}
f(x)=2πσ21e−2σ2(x−μ)2
其中:
-
μ \mu μ 是均值,决定分布的中心位置。
-
σ 2 \sigma^2 σ2 是方差, σ \sigma σ 是标准差,决定分布的宽度(或离散程度)。
2. 对称性
-
高斯分布以均值 μ \mu μ 为中心,对称分布。
-
左右两侧的分布完全相同。
3. 均值、方差和期望
-
均值: E [ X ] = μ \mathbb{E}[X] = \mu E[X]=μ
-
方差: Var ( X ) = σ 2 \text{Var}(X) = \sigma^2 Var(X)=σ2
-
标准差: σ \sigma σ
这些参数完全描述了一个高斯分布。
4. 标准正态分布 标准正态分布是高斯分布的特例,当 μ = 0 \mu = 0 μ=0 和 σ 2 = 1 \sigma^2 = 1 σ2=1$ 时: f ( x ) = 1 2 π e − x 2 2 f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} f(x)=2π1e−2x2
任何正态分布都可以通过标准化变为标准正态分布:
Z
=
X
−
μ
σ
Z = \frac{X - \mu}{\sigma}
Z=σX−μ
其中
Z
Z
Z 是标准正态随机变量。
5. 累积分布函数 (CDF)
高斯分布的累积分布函数为:
F
(
x
)
=
P
(
X
≤
x
)
=
∫
−
∞
x
f
(
t
)
d
t
F(x) = P(X \leq x) = \int_{-\infty}^x f(t) \, dt
F(x)=P(X≤x)=∫−∞xf(t)dt
对于标准正态分布,CDF 通常记作
Φ
(
x
)
\Phi(x)
Φ(x)。没有解析解,通常通过数值方法计算。
**
高斯分布(Gaussian Distribution),也称正态分布,是概率论和统计学中最重要的分布之一。以下是它的一些关键性质和特点:
1. 概率密度函数 (PDF)
高斯分布的概率密度函数为:
f
(
x
)
=
1
2
π
σ
2
e
−
(
x
−
μ
)
2
2
σ
2
f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}}
f(x)=2πσ21e−2σ2(x−μ)2
其中:
-
μ \mu μ 是均值,决定分布的中心位置。
-
σ 2 \sigma^2 σ2 是方差, σ \sigma σ 是标准差,决定分布的宽度(或离散程度)。
2. 对称性
-
高斯分布以均值 μ \mu μ 为中心,对称分布。
-
左右两侧的分布完全相同。
3. 均值、方差和期望
-
均值: E [ X ] = μ \mathbb{E}[X] = \mu E[X]=μ
-
方差: Var ( X ) = σ 2 \text{Var}(X) = \sigma^2 Var(X)=σ2
-
标准差: σ \sigma σ
这些参数完全描述了一个高斯分布。
4. 标准正态分布 标准正态分布是高斯分布的特例,当
μ
=
0
\mu = 0
μ=0 和
σ
2
=
1
\sigma^2 = 1
σ2=1 时:
f
(
x
)
=
1
2
π
e
−
x
2
2
f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}
f(x)=2π1e−2x2
任何正态分布都可以通过标准化变为标准正态分布:
Z
=
X
−
μ
σ
Z = \frac{X - \mu}{\sigma}
Z=σX−μ
其中
Z
Z
Z 是标准正态随机变量。
5. 累积分布函数 (CDF)
高斯分布的累积分布函数为:
F
(
x
)
=
P
(
X
≤
x
)
=
∫
−
∞
x
f
(
t
)
d
t
F(x) = P(X \leq x) = \int_{-\infty}^x f(t) \, dt
F(x)=P(X≤x)=∫−∞xf(t)dt
对于标准正态分布,CDF 通常记作
Φ
(
x
)
\Phi(x)
Φ(x)。没有解析解,通常通过数值方法计算。
-
68
−
95
−
99.7
68-95-99.7
68−95−99.7 规则
对于一个高斯分布:
-
68 % 68\% 68% 的数据在 [ μ − σ , μ + σ ] [\mu - \sigma, \mu + \sigma] [μ−σ,μ+σ] 范围内。
-
95 % 95\% 95% 的数据在 [ μ − 2 σ , μ + 2 σ ] [\mu - 2\sigma, \mu + 2\sigma] [μ−2σ,μ+2σ] 范围内。
-
99.7 % 99.7\% 99.7% 的数据在 [ μ − 3 σ , μ + 3 σ ] [\mu - 3\sigma, \mu + 3\sigma] [μ−3σ,μ+3σ] 范围内。
7. 可加性 如果
X
∼
N
(
μ
1
,
σ
1
2
)
X \sim N(\mu_1, \sigma_1^2)
X∼N(μ1,σ12) 且
Y
∼
N
(
μ
2
,
σ
2
2
)
Y \sim N(\mu_2, \sigma_2^2)
Y∼N(μ2,σ22),且
X
X
X 和
Y
Y
Y 独立,则:
Z
=
X
+
Y
∼
N
(
μ
1
+
μ
2
,
σ
1
2
+
σ
2
2
)
Z = X + Y \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)
Z=X+Y∼N(μ1+μ2,σ12+σ22)
8. 最大熵分布 在所有均值为 μ \mu μ 且方差为 σ 2 \sigma^2 σ2 的概率分布中,高斯分布是最大熵分布,即它最随机、信息最少。
9. 平稳性和闭包性
-
高斯分布在加权求和时保持高斯性(例如线性变换、独立高斯变量相加)。
-
若 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X∼N(μ,σ2),且 Y = a X + b Y = aX + b Y=aX+b,则:
Y ∼ N ( a μ + b , a 2 σ 2 ) Y \sim N(a\mu + b, a^2\sigma^2) Y∼N(aμ+b,a2σ2)
10. 特征函数和生成函数
-
特征函数: ϕ X ( t ) = E [ e i t X ] = e i t μ − 1 2 t 2 σ 2 \phi_X(t) = \mathbb{E}[e^{itX}] = e^{it\mu - \frac{1}{2}t^2\sigma^2} ϕX(t)=E[eitX]=eitμ−21t2σ2
-
矩母函数: M X ( t ) = E [ e t X ] = e t μ + 1 2 t 2 σ 2 M_X(t) = \mathbb{E}[e^{tX}] = e^{t\mu + \frac{1}{2}t^2\sigma^2} MX(t)=E[etX]=etμ+21t2σ2
11. 高斯分布的卷积 如果两个独立随机变量
X
X
X 和
Y
Y
Y 都是高斯分布,则它们的卷积仍然是高斯分布:
Z
=
X
+
Y
∼
N
(
μ
X
+
μ
Y
,
σ
X
2
+
σ
Y
2
)
Z = X + Y \sim N(\mu_X + \mu_Y, \sigma_X^2 + \sigma_Y^2)
Z=X+Y∼N(μX+μY,σX2+σY2)
12. 中心极限定理
许多独立同分布随机变量的和在样本数量趋于无穷大时,其分布趋于高斯分布,无论原始分布为何种形状。
这些性质让高斯分布在概率论、统计学、信号处理、机器学习等领域广泛应用。