17、概率分布中的高斯分布、共轭性与指数族

概率分布中的高斯分布、共轭性与指数族

1. 高斯分布

高斯分布，也称为正态分布，是针对连续值随机变量研究最为深入的概率分布。它之所以重要，是因为具有许多便于计算的特性，在机器学习和其他领域有着广泛的应用。

• 应用领域 ：高斯分布在机器学习的诸多领域都有应用，如高斯过程、变分推理和强化学习等。同时，它也广泛应用于信号处理（如卡尔曼滤波器）、控制（如线性二次调节器）和统计学（如假设检验）等领域。
• 概率密度函数
  • 单变量高斯分布 ：对于单变量随机变量，高斯分布的概率密度函数为：
    [p(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)]
  • 多变量高斯分布 ：多变量高斯分布由均值向量(\mu)和协方差矩阵(\Sigma)完全表征，其概率密度函数为：
    [p(x | \mu, \Sigma) = (2\pi)^{-\frac{D}{2}} |\Sigma|^{-\frac{1}{2}} \exp\left(-\frac{1}{2}(x - \mu)^{\top}\Sigma^{-1}(x - \mu)\right)]
    其中(x \in \mathbb{R}^D)，我们通常写作(p(x) = \mathcal{N}(x | \mu, \Sigma))或(X \sim \mathcal{N}(\mu,