高斯分布(Gaussian Distribution),也称正态分布,是概率论和统计学中最重要的分布之一。以下是它的一些关键性质和特点:
1. 概率密度函数 (PDF)
高斯分布的概率密度函数为:
f(x)=12πσ2e−(x−μ)22σ2
f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}}
f(x)=2πσ21e−2σ2(x−μ)2
其中:
-
μ\muμ 是均值,决定分布的中心位置。
-
σ2\sigma^2σ2 是方差,σ\sigmaσ 是标准差,决定分布的宽度(或离散程度)。
2. 对称性
-
高斯分布以均值 μ\muμ 为中心,对称分布。
-
左右两侧的分布完全相同。
3. 均值、方差和期望
-
均值:E[X]=μ\mathbb{E}[X] = \muE[X]=μ
-
方差:Var(X)=σ2\text{Var}(X) = \sigma^2Var(X)=σ2
-
标准差:σ\sigmaσ
这些参数完全描述了一个高斯分布。
4. 标准正态分布 标准正态分布是高斯分布的特例,当 μ=0\mu = 0μ=0 和 σ2=1\sigma^2 = 1σ2=1$ 时:f(x)=12πe−x22 f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} f(x)=2π1e−2x2
任何正态分布都可以通过标准化变为标准正态分布:
Z=X−μσ
Z = \frac{X - \mu}{\sigma}
Z=σX−μ
其中 ZZZ 是标准正态随机变量。
5. 累积分布函数 (CDF)
高斯分布的累积分布函数为:
F(x)=P(X≤x)=∫−∞xf(t) dt
F(x) = P(X \leq x) = \int_{-\infty}^x f(t) \, dt
F(x)=P(X≤x)=∫−∞xf(t)dt
对于标准正态分布,CDF 通常记作 Φ(x)\Phi(x)Φ(x)。没有解析解,通常通过数值方法计算。
**
高斯分布(Gaussian Distribution),也称正态分布,是概率论和统计学中最重要的分布之一。以下是它的一些关键性质和特点:
1. 概率密度函数 (PDF)
高斯分布的概率密度函数为:
f(x)=12πσ2e−(x−μ)22σ2
f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}}
f(x)=2πσ21e−2σ2(x−μ)2
其中:
-
μ\muμ 是均值,决定分布的中心位置。
-
σ2\sigma^2σ2 是方差,σ\sigmaσ 是标准差,决定分布的宽度(或离散程度)。
2. 对称性
-
高斯分布以均值 μ\muμ 为中心,对称分布。
-
左右两侧的分布完全相同。
3. 均值、方差和期望
-
均值:E[X]=μ\mathbb{E}[X] = \muE[X]=μ
-
方差:Var(X)=σ2\text{Var}(X) = \sigma^2Var(X)=σ2
-
标准差:σ\sigmaσ
这些参数完全描述了一个高斯分布。
4. 标准正态分布 标准正态分布是高斯分布的特例,当 μ=0\mu = 0μ=0 和 σ2=1\sigma^2 = 1σ2=1 时:
f(x)=12πe−x22
f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}
f(x)=2π1e−2x2
任何正态分布都可以通过标准化变为标准正态分布:
Z=X−μσ
Z = \frac{X - \mu}{\sigma}
Z=σX−μ
其中 ZZZ 是标准正态随机变量。
5. 累积分布函数 (CDF)
高斯分布的累积分布函数为:
F(x)=P(X≤x)=∫−∞xf(t) dt
F(x) = P(X \leq x) = \int_{-\infty}^x f(t) \, dt
F(x)=P(X≤x)=∫−∞xf(t)dt
对于标准正态分布,CDF 通常记作 Φ(x)\Phi(x)Φ(x)。没有解析解,通常通过数值方法计算。
- 68−95−99.768-95-99.768−95−99.7 规则
对于一个高斯分布:
-
68%68\%68% 的数据在 [μ−σ,μ+σ][\mu - \sigma, \mu + \sigma][μ−σ,μ+σ] 范围内。
-
95%95\%95% 的数据在 [μ−2σ,μ+2σ][\mu - 2\sigma, \mu + 2\sigma][μ−2σ,μ+2σ] 范围内。
-
99.7%99.7\%99.7% 的数据在 [μ−3σ,μ+3σ][\mu - 3\sigma, \mu + 3\sigma][μ−3σ,μ+3σ] 范围内。
7. 可加性 如果 X∼N(μ1,σ12)X \sim N(\mu_1, \sigma_1^2)X∼N(μ1,σ12) 且 Y∼N(μ2,σ22)Y \sim N(\mu_2, \sigma_2^2)Y∼N(μ2,σ22),且 XXX 和 YYY 独立,则:
Z=X+Y∼N(μ1+μ2,σ12+σ22)
Z = X + Y \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)
Z=X+Y∼N(μ1+μ2,σ12+σ22)
8. 最大熵分布 在所有均值为 μ\muμ 且方差为 σ2\sigma^2σ2 的概率分布中,高斯分布是最大熵分布,即它最随机、信息最少。
9. 平稳性和闭包性
-
高斯分布在加权求和时保持高斯性(例如线性变换、独立高斯变量相加)。
-
若 X∼N(μ,σ2)X \sim N(\mu, \sigma^2)X∼N(μ,σ2),且 Y=aX+bY = aX + bY=aX+b,则:
Y∼N(aμ+b,a2σ2) Y \sim N(a\mu + b, a^2\sigma^2) Y∼N(aμ+b,a2σ2)
10. 特征函数和生成函数
-
特征函数:ϕX(t)=E[eitX]=eitμ−12t2σ2\phi_X(t) = \mathbb{E}[e^{itX}] = e^{it\mu - \frac{1}{2}t^2\sigma^2}ϕX(t)=E[eitX]=eitμ−21t2σ2
-
矩母函数:MX(t)=E[etX]=etμ+12t2σ2M_X(t) = \mathbb{E}[e^{tX}] = e^{t\mu + \frac{1}{2}t^2\sigma^2}MX(t)=E[etX]=etμ+21t2σ2
11. 高斯分布的卷积 如果两个独立随机变量 XXX 和 YYY 都是高斯分布,则它们的卷积仍然是高斯分布:
Z=X+Y∼N(μX+μY,σX2+σY2)
Z = X + Y \sim N(\mu_X + \mu_Y, \sigma_X^2 + \sigma_Y^2)
Z=X+Y∼N(μX+μY,σX2+σY2)
12. 中心极限定理
许多独立同分布随机变量的和在样本数量趋于无穷大时,其分布趋于高斯分布,无论原始分布为何种形状。
这些性质让高斯分布在概率论、统计学、信号处理、机器学习等领域广泛应用。