43、贝叶斯估计全解析：从基础到高级应用

贝叶斯估计全解析：从基础到高级应用

一、贝叶斯估计基础

在贝叶斯估计中，均值的确定和协方差矩阵的计算至关重要。协方差矩阵由负对数似然的二阶导数矩阵的逆给出，公式为：
$S_N = -\nabla\nabla\log p(w|r, X) = S_0^{-1} + \sum_{t} y_t(1 - y_t)x_t(x_t)^T$

为了估计类别概率，我们对高斯分布进行积分：
$P(C_1|x) = y = \int sigmoid(w^T x)q(w)dw$
其中$q(w) \sim N (w_{MAP}, S_N^{-1})$。不过，对高斯分布与sigmoid函数的卷积进行解析积分存在困难。若使用与sigmoid函数形状相同的probit函数，就有可能得到解析解。

二、选择先验分布

定义先验分布是贝叶斯估计中较为主观的部分，需要谨慎操作。最好定义具有重尾的稳健先验，以免过度限制参数空间。在没有先验偏好的极端情况下，可以使用无信息先验，例如Jeffreys先验。有时，我们选择先验分布是出于简单性的考虑，例如共轭先验能使推理变得容易。

在贝叶斯估计中，有两个关键决策：
1. 参数处理 ：何时将参数视为常数，何时将其定义为具有先验分布的随机变量并进行积分（平均）。例如，在某些情况下我们假设已知噪声精度，而在其他情况下则为其定义伽马先验。对于线性回归中权重的分布，我们可以假设一个常数$\alpha$值，也可以为其定义先验并进行平均。若不知道$\alpha$的合适值，对$\alpha$进行平均是更好的选择。
2. 先验层次 ：