20、概率分布之高斯分布详解

概率分布之高斯分布详解

1. 概率分布概述

在处理连续变量的分布时，高斯分布（也称为正态分布）是一种广泛使用的模型。它在许多不同的情境中都会出现，并且可以从多种不同的角度来理解。

1.1 高斯分布的基本形式

• 单变量高斯分布 ：对于单个变量 (x)，高斯分布可以写成如下形式：
  [N(x|\mu, \sigma^2) = \frac{1}{(2\pi\sigma^2)^{1/2}} \exp\left{-\frac{1}{2\sigma^2} (x - \mu)^2\right}]
  其中，(\mu) 是均值，(\sigma^2) 是方差。
• 多变量高斯分布 ：对于一个 (D) 维向量 (x)，多变量高斯分布的形式为：
  [N(x|\mu, \Sigma) = \frac{1}{(2\pi)^{D/2}} \frac{1}{|\Sigma|^{1/2}} \exp\left{-\frac{1}{2}(x - \mu)^T\Sigma^{-1}(x - \mu)\right}]
  这里，(\mu) 是 (D) 维均值向量，(\Sigma) 是 (D \times D) 协方差矩阵，(|\Sigma|) 表示 (\Sigma) 的行列式。

1.2 高斯分布的产生背景

高斯分布的出现有多种原因。例如，对于单个实变量，使熵最大化的分布就是高斯分布，这一性质同样适用于多变量高斯分布。此外，当考虑多个随机变量的和时，根据中心极限定理（由拉普拉斯提出），在一定的温和条件下，一组随机变量的和（它本身也是一个随机