13、回归与分类模型：原理、应用与优化

回归与分类模型：原理、应用与优化

在机器学习领域，回归和分类是两个重要的任务。回归主要用于预测连续值，而分类则用于预测离散的类别标签。下面将详细介绍相关的回归和分类模型。

相关向量回归（Relevance Vector Regression）

相关向量回归是一种依赖于训练数据稀疏性的模型。在开发线性回归的对偶方法后，我们可以构建这样一个模型，它通过对每个非零加权的训练示例施加惩罚来实现稀疏性。具体做法是将对偶参数 $\psi$ 的正态先验替换为一维 t 分布的乘积，即：
[Pr(\psi) = \prod_{i=1}^{I} Stud_{\psi_i} [0,1,\nu]]
这个模型就是相关向量回归。

与稀疏线性回归模型类似，但这里使用的是对偶变量。由于 t 分布先验无法对变量 $\psi$ 进行边缘化，我们采用最大化隐藏变量而非边缘化的方法来近似 t 分布。此时，边缘似然近似为：
[Pr(w|X,\sigma^2) \approx \max_{H} \left[ Norm_w[0,X^T XH^{-1}X^T X + \sigma^2I] \prod_{d=1}^{D} Gam_{h_d}[\nu/2,\nu/2] \right]]
其中矩阵 $H$ 的对角元素是与 t 分布相关的隐藏变量 ${h_i}_{i=1}^{I}$，其余元素为零。与之前的表达式不同的是，现在每个数据点有由隐藏变量决定的个体方差。

在相关向量回归中，我们交替进行以下两个步骤：
1. 关于隐藏变量优化边缘似然：
[h_{i}^{new} = \frac{1 - h_i\Sigma_{ii} + \nu}{\mu_{i}^{2}