90、高斯分布与高斯过程详解

高斯分布与高斯过程详解

1. 高斯分布

1.1 基本定义与性质

• 设 (X_1, X_2 \sim N(0, 1)) 且相互独立，它们的比值 (X_1/X_2) 服从标准柯西分布，即 (X_1/X_2 \sim Cauchy(0, 1))。
• 给定 (n) 个独立的单变量随机变量 (X_i \sim N(0, 1))，随机变量 (Z = \sqrt{\sum_{i} X_i^2}) 服从自由度为 (n) 的 (\chi) 分布，(Z^2) 服从自由度为 (n) 的 (\chi^2) 分布。
• 利用巴苏定理或科克伦定理，可以证明 (X_1, \cdots, X_n) 的样本均值和样本标准差相互独立，它们的比值 (t = \frac{\overline{X}}{S} = \frac{\frac{1}{n}(X_1 + \cdots + X_n)}{\sqrt{\frac{1}{n - 1}\sum_{i = 1}^{n}(X_i - \overline{X})^2}}) 服从自由度为 (n - 1) 的学生 (t) 分布。

1.2 高斯分布的应用与性质

1.2.1 中心极限定理

给定 (n) 个独立同分布的观测值，且其分布的方差有限，当 (n) 趋于无穷大时，这些观测值的平均值渐近服从高斯分布。在某些条件下，同分布的要求可以放宽，渐近正态性仍然成立。

1.2.2 近似高斯后验

考虑从分布 (p(X_i|\theta)) 中抽取的 (n) 个独立同分布的观测值，数据集为 (X = (X_1, \cdots, X_n)^T)