39、线性回归与广义线性模型：理论、算法与应用

线性回归与广义线性模型：理论、算法与应用

1. 线性回归中的在线推断

在线推断在许多实际场景中具有重要意义，特别是在数据不断流入的情况下。这里主要介绍递归最小二乘法（Recursive Least Squares, RLS），它是一种在线贝叶斯推断方法。

1.1 在线更新公式

在批量模式下，我们可以计算线性回归模型的后验分布 $p(w|\sigma^2, D)$。而在线模式下，我们通过重复执行以下更新来计算后验：
[p(w|D_{1:t}) \propto p(D_t|w)p(w|D_{1:t - 1})]
其中 $D_t = (x_t, y_t)$ 是第 $t$ 个标记示例，$D_{1:t - 1}$ 是前 $t - 1$ 个示例。这个过程体现了顺序贝叶斯更新，前一个后验 $p(w|D_{1:t - 1})$ 成为当前先验，通过 $D_t$ 更新得到新的后验 $p(w|D_{1:t})$。

1.2 线性高斯状态空间模型实现

我们可以使用线性高斯状态空间模型来实现 RLS 算法。假设回归参数不随时间变化，动态模型为：
[p(w_t|w_{t - 1}) = N(w_t|A w_{t - 1}, Q_t) = N(w_t|w_{t - 1}, 0) = \delta(w_t - w_{t - 1})]
观测模型为：
[p(y_t|w_t, x_t) = N(y_t|C_t z_t, R_t) = N(y_t|x_t^{\top} w_t, \sigma^2)]

1.3 卡尔曼滤波算法应用

利用卡尔曼滤波算法，新的信念状态 $p(w_t|D_{