24、高斯分布的深入解析与贝叶斯推断应用

高斯分布的深入解析与贝叶斯推断应用

1. 高斯分布基础与回归函数

在高斯分布的情境中，当参数 $\theta$ 对应于最大似然估计的均值 $\mu_{ML}$ 时，回归函数呈现为一条直线。随机变量 $z$ 是负对数似然函数的导数，其表达式为 $z = -\frac{1}{\sigma^2}(x - \mu_{ML})$，并且 $z$ 的分布也是高斯分布，均值为 $-\frac{(\mu - \mu_{ML})}{\sigma^2}$。回归函数的根对应着真实的均值 $\mu$。

以高斯分布均值的顺序估计为例，参数 $\theta(N)$ 是高斯分布均值的估计 $\mu_{ML}^{(N)}$，随机变量 $z$ 由下式给出：
[z = \frac{\partial}{\partial\mu_{ML}} \left[ -\ln p(x|\mu_{ML}, \sigma^2) \right] = -\frac{1}{\sigma^2}(x - \mu_{ML})]

将其代入相关公式，若选择系数 $a_N = \frac{\sigma^2}{N}$，可得到单变量形式的特定公式。需要注意的是，虽然这里聚焦于单变量情况，但相同的技术和对系数 $a_N$ 的限制同样适用于多变量情形。

2. 高斯分布的贝叶斯推断 - 已知方差推断均值

最大似然框架为参数 $\mu$ 和 $\Sigma$ 提供了点估计。现在我们引入贝叶斯方法，通过为这些参数引入先验分布来进行处理。

假设我们有一个单高斯随机变量 $x$，且方差 $\sigma^2$ 已知，目标是根据一组 $N$ 个观测值 $x = {x_1, \ldots, x_N}$ 推断