16、支持向量机（SVM）全解析：从基础到核技巧

支持向量机（SVM）全解析：从基础到核技巧

1. 间隔最大化与SVM原始形式

在处理分类问题时，支持向量机（SVM）的目标是找到一个超平面，使得两类数据之间的间隔最大。基于相关理论，最大化两个子空间之间的距离等价于以下优化问题：
- 目标函数 ：最小化 ( f(w) = \frac{1}{2} | w |^2 = \frac{1}{2} \langle w, w \rangle )
- 约束条件 ： ( g_i(w, b) = y_i (\langle w, x_i \rangle + b) - 1 \geq 0, i = 1, 2, \ldots, N )

这是一个有约束的优化问题，其中有几个重要的事实：
- ( b ) 是待求的权重之一，若令 ( x_0 = 1 )，则 ( w_0 = b )。
- 目标函数 ( f(w) ) 在 ( n ) 维空间中是一个抛物面，抛物面底部有一个全局最小值。
- 约束条件 ( g_i(w, b) ) 在 ( n ) 维空间中是一个超平面。
- 该约束优化问题的解位于抛物面和超平面的切点处，在切点处，抛物面和超平面的法向量或梯度向量平行，即 ( \nabla f = \alpha_i \nabla g_i, (i = 1, 2, \ldots, N) )。

基于上述分析，将优化问题转化为拉格朗日函数：
[ L(w, b, \alpha_i) = f(w) - \sum_{i} \alpha_i g_i(w, b) = \frac{1}{2} | w |^2 - \sum_{i} \alpha_i [