96、支持向量机的监督学习：原理、模型与应用

支持向量机的监督学习：原理、模型与应用

1. 误差最小化与支持向量机

在支持向量机的监督学习中，我们的目标是让误差的方差达到最小。误差方差的表达式为：
[
\begin{align }
Var(\hat{S} - S) &= Var(\hat{S}) + Var(S) - 2Cov(S, \hat{S})\
&= \sum_{i = 1}^{m}\sum_{j = 1}^{m}\omega_i(x_0)\omega_j(\hat{x})K(x_i, x_j) - 2\sum_{i = 1}^{m}\omega_i(x_0)K(x_0, x_i) + Var(S) \to \min_{\omega(x_0)}
\end{align }
]
将梯度设为零，可得到最小化器 (\omega^ = (\omega_1^ (x_0), \ldots, \omega_m^*(x_0))^T)，它是以下线性方程组的解：
[K\omega = (K(x_0, x_i)) {i = 1}^{m}]
若 (K) 可逆，则有：
[S(x_0) = \langle y, K^{-1}(K(x_0, x_i)) {i = 1}^{m}\rangle = \langle K^{-1}y, (K(x_0, x_i))_{i = 1}^{m}\rangle]
假设 (K(x_i, x_j)) 的值与插值任务中的相同，那么这与径向基插值问题中的 (f(x_0)) 值完全相同。

2. 最小二乘分类与回归

在特征空间中，最小二