16、支持向量机（SVM）全解析：从基础到核技巧

支持向量机（SVM）全解析：从基础到核技巧

1. 间隔最大化与原始形式

在支持向量机（SVM）中，为了最大化两个子空间之间的距离，可将其转化为一个优化问题。具体来说，要最小化函数 ( f(w) = \frac{1}{2} | w |^2 = \frac{1}{2} \langle w, w \rangle )，同时满足约束条件 ( g_i(w, b) = y_i (\langle w, x_i \rangle + b) - 1 \geq 0 )，其中 ( i = 1, 2, \ldots, N )。

这里有几个重要的事实：
- ( b ) 是待求解的权重之一，若令 ( x_0 = 1 )，则 ( w_0 = b )。
- 方程 ( f(w) ) 在 ( n ) 维空间中是一个抛物面，且抛物面在底部有唯一的全局最小值。
- 约束条件 ( g_i(w, b) ) 在 ( n ) 维空间中是一个超平面。
- 该约束优化问题的解位于抛物面和超平面的切点处，在切点处，抛物面和超平面的法向量或梯度向量平行，即 ( \nabla f = \alpha_i \nabla g_i )（( i = 1, 2, \ldots, N )），其中 ( \nabla ) 是梯度，( \alpha_i ) 是常数。

基于上述分析，可将优化问题转化为拉格朗日函数 ( L(w, b, \alpha_i) = f(w) - \sum_{i} \alpha_i g_i(w, b) )，通过求解 ( \nabla L = 0 ) 或 ( \frac{\partial L}{\partial w, b} = 0 ) 来得到解。拉格朗日函数展开为 ( L(w, b, \alpha_i