37、贝叶斯线性回归：原理、方法与应用

贝叶斯线性回归：原理、方法与应用

1. 近端梯度下降

近端梯度下降可用于优化带有非平滑惩罚项（如ℓ1）的平滑函数。在近端梯度下降中，对于ℓ1惩罚项，其近端算子对应软阈值化。更新公式如下：
[w_{t + 1} = \text{SoftThreshold}(w_t - \eta_t\nabla\text{NLL}(w_t), \eta_t\lambda)]
此算法被称为迭代软阈值算法（ISTA）。若结合Nesterov加速，就得到“快速ISTA”（FISTA），该方法广泛用于拟合稀疏线性模型。

2. LARS算法

LARS（最小角回归和收缩）算法是用于解决套索问题的同伦方法。它能高效地计算所有可能的λ值对应的 (\hat{w}(\lambda))。
- 工作原理 ：
1. 从一个较大的λ值开始，此时仅选择与响应向量y相关性最强的变量。
2. 逐渐减小λ，直到找到第二个与当前残差（残差定义为 (r_k = y - X_{:,F_k}w_k) ，其中 (F_k) 是当前活动集）相关性（在大小上）与第一个变量相同的变量。
3. 利用几何论证可解析地求解新的λ值，从而使算法能快速“跳跃”到正则化路径上活动集发生变化的下一个点。
4. 重复上述步骤，直到所有变量都被加入。

若不允许从当前活动集中移除变量，就得到最小角回归（LAR）算法，它与贪心前向选择和最小二乘提升方法类似。

3. 贝叶斯线性回归

我们已了解如何在各种先验条件下计算线性回归模型的最大似然估计（MLE）和最大后验估计（MAP）。接下来讨论如何计算完整的后