8、概率理论中的贝叶斯技术与高斯分布

概率理论中的贝叶斯技术与高斯分布

1. 引言

在进行预测或比较不同模型时，某些方法是必不可少的。随着抽样方法（如马尔可夫链蒙特卡罗方法）的发展，以及计算机速度和内存容量的显著提升，贝叶斯技术在众多实际问题领域得到了广泛应用。

1.1 抽样方法与贝叶斯技术

蒙特卡罗方法具有很强的灵活性，可应用于多种模型。然而，它的计算量较大，主要用于小规模问题。近年来，高效的确定性近似方案，如变分贝叶斯和期望传播等方法相继出现。这些方法为抽样方法提供了补充，使得贝叶斯技术能够应用于大规模应用中。

1.2 高斯分布的引入

在众多概率分布中，高斯分布（也称为正态分布）是连续变量中最重要的分布之一。我们将在后续内容中广泛使用这一分布。

对于单个实值变量 (x)，高斯分布的定义如下：
[N(x|\mu, \sigma^2) = \frac{1}{(2\pi\sigma^2)^{1/2}} \exp\left{-\frac{1}{2\sigma^2} (x - \mu)^2\right}]
该分布由两个参数控制：
- (\mu)：称为均值，代表变量 (x) 在分布下的平均值。
- (\sigma^2)：称为方差，其平方根 (\sigma) 称为标准差，方差的倒数 (\beta = 1/\sigma^2) 称为精度。

高斯分布具有以下性质：
- (N(x|\mu, \sigma^2) > 0)
- (\int_{-\infty}^{\infty} N(x|\mu, \sigma^2) dx = 1)

我们还可以计算变量 (x) 在高斯分布下的期望值： <