35、支持向量回归器：原理、训练方法及变体

支持向量回归器：原理、训练方法及变体

1. 实验总结

通过计算机实验，对Mackey - Glass和水净化数据的支持向量回归器（SVRs）进行了评估，结果如下：
1. 牛顿法训练速度 ：牛顿法（NM）一次优化多个数据，将工作集大小从2增大可加快训练速度，但存在最优工作集大小，过大则会减慢训练。
2. L1 NM和L2 NM差异 ：对于高维特征空间的核函数（如RBF核），L1 NM和L2 NM差异较小；对于低维特征空间的核函数（如线性核），L2 NM训练更快，此时海森矩阵的正定性和无界变量的优势明显。
3. KKT条件 ：精确的KKT条件并不总是比不精确的KKT条件收敛更快。对于水净化数据和小工作集大小的Mackey - Glass数据，精确KKT条件在L1 NM中表现更好；对于Mackey - Glass数据，增大工作集大小时，不精确KKT条件表现更好，因为训练初期精确KKT条件会将几乎所有变量检测为违规变量，导致无用计算。
4. 支持向量数量与训练方法 ：对于支持向量数量少的问题，带分块的原始 - 对偶内点法比NM训练更快；对于支持向量数量相对较多的问题，NM更快。
5. 近似方法性能 ：不同近似方法的性能差异不大。
6. C值选择 ：通过适当选择C值，SVRs可以抑制异常值的影响。

2. 支持向量回归器的重新表述

支持向量回归器对偶形式的变量数量是训练数据数量的两倍，但由于非负的αi和α