24、支持向量回归器：原理、优化与训练加速

支持向量回归器：原理、优化与训练加速

1. 最优超平面

在支持向量回归中，最大化间隔能够提高未知数据落入特定区域的可能性，进而增强模型的泛化能力。超平面 (D(x, y) = 0) 到数据点 ((x, y)) 的距离为 (\frac{|D(x, y)|}{|w^ |})，其中 (w^ = (1, -w^T)^T)。

假设数据到超平面的最大距离为 (\delta)，则所有训练数据满足 (\frac{|D(x, y)|}{|w^ |} \leq \delta)，即 (|D(x, y)| \leq \delta |w^ | )。而距离超平面最远的数据满足 (|D(x, y)| = \varepsilon)，所以 (\delta |w^ | = \varepsilon)。为了最大化间隔 (\delta)，需要最小化 (|w^ | )。由于 (|w^*|^2 = |w|^2 + 1)，因此最小化 (|w|) 可实现间隔最大化。

此时，回归问题可通过最小化 (\frac{1}{2}|w|^2) 来解决，同时需满足以下约束条件：
[
\begin{cases}
y_i - w^T g(x_i) - b \leq \varepsilon & \text{for } i = 1, \ldots, M \
w^T g(x_i) + b - y_i \leq \varepsilon & \text{for } i = 1, \ldots, M
\end{cases}
]

这里假设所有训练数据都在半径为 (\varepsilon) 的管内。为允