13、回归与分类模型详解

回归与分类模型详解

1. 相关向量回归

在完成线性回归的对偶方法后，我们可以开发一种仅稀疏依赖训练数据的模型。具体做法是对每个非零加权的训练示例施加惩罚，将对偶参数 $\psi$ 的正态先验替换为一维 $t$ 分布的乘积：
[Pr(\psi) = \prod_{i=1}^{I} Stud_{\psi_i} [0,1,\nu]]
这个模型就是相关向量回归。

它与稀疏线性回归模型类似，只是这里使用的是对偶变量。由于具有 $t$ 分布先验的变量 $\psi$ 无法进行边缘化，我们采用通过最大化其隐藏变量来近似 $t$ 分布的方法。此时，边缘似然变为：
[Pr(w|X,\sigma^2) \approx \max_{H} \left[ Norm_w[0,X^T XH^{-1}X^T X + \sigma^2I] \prod_{d=1}^{D} Gam_{h_d}[\nu/2,\nu/2] \right]]
其中矩阵 $H$ 的对角线上是与 $t$ 分布相关的隐藏变量 ${h_i}_{i=1}^{I}$，其余位置为零。与之前的表达式不同的是，现在每个数据点有由对角矩阵 $H$ 的元素确定的个体方差。

在相关向量回归中，我们交替进行以下两步：
1. 关于隐藏变量优化边缘似然：
[h_{i}^{new} = \frac{1 - h_i\Sigma_{ii} + \nu}{\mu_{i}^{2} + \nu}]
2. 关于方差参数 $\sigma^2$ 优化边缘似然：
[(\sigma^2)^{new} = \frac{1}{I - \sum_{i}(1 - h_i\Sigma_{ii})} (w - X^T X\m