SVM的另一种理解

SVM是一个带约束的最优化问题，目标函数是

$$min\frac{1}{2} \left\|w \right\|^2 s.t. y_i(w^Tx_i+b)\ge1, i=1, 2,...$$
该目标函数的意义：
1. 求 $\left\|w \right\|$最小值
2. 同时对于所有的 $x_i$满足 $y_i(w^Tx_i+b)\ge1$
但是总有一些点是无法满足这个条件的，也就是对这些点来说 $y_i(w^Tx_i+b)<1$。这些点就是分类错误的点，分类错误就需要给予惩罚，于是我们定义这么一个损失函数
$$max(0, 1-y_i(w^Tx_i+b))$$
该损失函数的意义：
1. 对 $y_i(w^Tx_i+b)<1$的点进行处罚，罚金是 $1-y_i(w^Tx_i+b)$
2. 对 $y_i(w^Tx_i+b)\ge1$的点既不奖赏也不处罚，即罚金是 $0$
$w$是参数，所以要对它加上正则项，所以新的目标函数诞生：
$$min(\sum_{i=1}^nmax(0, 1-y_i(w^Tx_i+b))+\frac{C}{2}\left\|w \right\|_2^2)$$
可以验证，新的目标函数与开头提到的目标函数是等效的。

参考：https://www.zhihu.com/question/30230784