软间隔支持向量机

软间隔支持向量机

SVM可能会造成overfit，因为kernel可能很复杂，而且必须将所有的样本都分类正确，造成模型过于复杂
那么如何避免过拟合？
方法是允许有分类错误的点，即把某些点当做是noise，但是尽量让这些noise个数越少越好

hard-margin SVM:
$$\begin{gathered} mi{n}_{(b,w)}\frac{1}{2}{w}^{T}w \\ s.t.y_n(w^T{z}_n+b)\ge 1foralln \end{gathered}$$
为了引入允许犯错误的点，做一些修改：
$$\begin{gathered} mi{n}_{(b,w)}\frac{1}{2}{w}^{T}w+C\sum _{n=1}^N[y_n̸=sign(w^T{z}_n+b)] \\ s.t.y_n(w^T{z}_n+b)\ge 1forcorrectn \\ {y}_n(w^T{z}_n+b)\ge -\infty \end{gathered}$$
对于分类错误的条件是没有限制，修正后的目标除了$\frac{1}{2}{w}^{T}w$,还多了$y_n(w^T{z}_n+b)\ge 1$,即noise点的个数，参数C的引入是为了平衡第一项和第二项的关系
再对上述条件做修正，将两个条件合并：
$$\begin{gathered} mi{n}_{(b,w)}\frac{1}{2}{w}^{T}w+C\sum _{n=1}^N[y_n̸=sign(w^T{z}_n+b)] \\ s.t.y_n(w^{} \end{gathered}$$