94、相关向量机（RVM）：原理、优势与稀疏性分析

相关向量机（RVM）：原理、优势与稀疏性分析

1. 相关向量机（RVM）概述

相关向量机（Relevance Vector Machines，RVM）是一种在回归和分类任务中表现出色的机器学习模型。与支持向量机（SVM）类似，RVM 也使用核函数来处理数据，但它具有一些独特的优势。

1.1 RVM 回归示例

图 7.9 展示了 RVM 在正弦回归数据集上的应用。该示例使用了与图 7.8 中 ν - SVM 回归模型相同的数据集和高斯核函数。在图中，红色线条表示 RVM 预测分布的均值，阴影区域表示一个标准差的预测分布。绿色点表示数据点，蓝色圆圈表示相关向量。

值得注意的是，RVM 中只有 3 个相关向量，而图 7.8 中的 ν - SVM 有 7 个支持向量。这表明 RVM 能够生成比 SVM 更紧凑的模型，在处理测试数据时速度有显著提升。

1.2 RVM 与 SVM 的比较

模型	相关/支持向量数量	训练复杂度	参数确定方式	泛化误差
RVM	较少	优化非凸函数，训练时间可能较长	自动从单次训练运行中确定	与 SVM 相当或相近
SVM	较多