34、支持向量回归器的牛顿训练方法详解

支持向量回归器的牛顿训练方法详解

1. 牛顿方法概述

在训练支持向量回归器（SVR）时，牛顿方法采用固定大小分块的方式。工作集大小从 2 开始增加，工作集中的变量通过牛顿方法进行优化。不过，L1 支持向量机的海森矩阵不一定是正定的，所以只对工作集中线性独立的变量计算校正值。

2. 优化问题转化

对于 L1 支持向量回归器，其优化问题转化为：
最大化：
[
Q(\alpha) = -\frac{1}{2} \sum_{i,j=1}^{M} (\alpha_i - \alpha_{M+i}) (\alpha_j - \alpha_{M+j}) K(x_i, x_j) + \sum_{i=1}^{M} y_i (\alpha_i - \alpha_{M+i}) - \varepsilon \sum_{i=1}^{M} (\alpha_i + \alpha_{M+i})
]
约束条件：
[
\sum_{i=1}^{M} (\alpha_i - \alpha_{M+i}) = 0
]
[
0 \leq \alpha_i \leq C, \quad i = 1, \ldots, M
]

对于 L2 支持向量回归器，优化问题转化为：
最大化：
[
Q(\alpha) = -\frac{1}{2} \sum_{i,j=1}^{M} (\alpha_i - \alpha_{M+i}) (\alpha_j - \alpha_{M+j}) \left( K(x_i, x_j) + \frac{\delta_{ij}}{C} \right)