33、贝叶斯逻辑回归与线性回归：原理、方法与应用

贝叶斯逻辑回归与线性回归：原理、方法与应用

1. 贝叶斯逻辑回归

1.1 决策边界与类别不平衡

在贝叶斯逻辑回归中，决策边界的位置和不确定性是重要的研究内容。图 10.16a 展示了参数的后验均值（实线）和 95% 可信区间（阴影区间）。可以看到，随着远离训练数据，决策边界位置的不确定性增加。

当存在类别不平衡时（图 10.16b），会出现两个现象。一是后验不确定性增加，因为蓝色类别的数据较少；二是决策边界的后验均值会向数据较少的类别移动。这是因为改变类别先验会改变决策边界的位置，使得更多的输入空间被映射到先验概率较高的类别。

1.2 变分推断

变分推断将近似推断转化为一个优化问题。它通过选择一个近似分布 (q(w; ξ))，并优化变分参数 (ξ) 来最大化证据下界（ELBO），使得 (q(w; ξ)) 与 (p(w|D)) 的 KL 散度较小。

1.2.1 二元情况

对于二元逻辑回归模型，使用高斯先验 (p(w) = N(w|µ_0, V_0))，并假设高斯后验 (q(w) = N(w|µ_N, V_N))，通过优化 ELBO 来拟合。

单个观测的似然函数可重写为：
[
p(y_n|x_n, w) = \sigma(\eta_n)^{y_n}(1 - \sigma(\eta_n))^{1 - y_n} = e^{-\eta_n y_n}\sigma(-\eta_n)
]
其中 (\eta_n = w^⊤x_n) 是对数几率。由于它与高斯先验不共轭，使用 JJ 界：
[
\sigma(\eta_n) \geq