39、贝叶斯线性回归与分类：原理、方法及应用

贝叶斯线性回归与分类：原理、方法及应用

1. 贝叶斯线性回归

在贝叶斯线性回归中，边际似然由以下公式给出：
[2 \log p(D|\theta) = -\beta \sum_{n=1}^{N}(y_n)^2 + d^TS^{-1}d - \log \det (S) + \sum_{i=1}^{B} \log \alpha_i + N \log \beta - N \log (2\pi).]
对于参数 $\beta$ 的 EM 更新保持不变，而每个 $\alpha_i$ 的 EM 更新公式为：
[\frac{1}{\alpha_{new,i}} = [S]_{ii} + m_i^2.]
不过，这种方法存在一个潜在问题，即超参数的数量与参数数量相同，通过 ML - II 方法寻找最优超参数可能会导致权重过度修剪。可以采用更全面的贝叶斯方法来缓解这个问题。

1.1 尖峰 - 平板先验

对于稀疏线性回归，一种自然的替代方法是使用二元指示符 $s_i \in {0, 1}$：
[f(x; w) = \sum_{i=1}^{B} s_i w_i \varphi_i(x),]
[p(w) = \prod_{i} N(w_i | 0, \sigma^2)]
只有当 $s_i = 1$ 时，对应的权重 $w_i$ 才会对函数产生贡献。可以通过选择联合集 $p(s_1, \ldots, s_B)$ 的先验来指定稀疏程度，鼓励只有少数 $s_i$ 为 1，其余为 0。这可以通过伯努利分布的乘积来实现：
[p(s) = \prod_{i=1}^{B} \theta^{s_i} (1 - \theta)^{1 - s_i