斯坦福CS229机器学习笔记-Lecture8- SVM支持向量机 之核方法 + 软间隔 + SMO 算法

作者：teeyohuang

邮箱：teeyohuang@163.com

本文系原创，供交流学习使用，转载请注明出处，谢谢

 

声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来

          博文中部分图片和公式都来源于CS229官方notes。

          CS229的视频和讲义均为互联网公开资源

Lecture8

主要内容如下：

 

·Kernels (核方法)

·Soft Margin(软间隔) –非线性可分的情况

·SMO algorithm

 

1.Kernels (核方法)

上一节课的最后我们已经推出了一些有用的结论：

这是我们探讨核方法的出发点

假设我们现在有一个输入属性（input attribute）x，有时候我们会将这个x给映射到一组新的集合上去，

比如如下例子，采用特征映射 (feature mapping)  φ：

我们把得到的这组新的量称为 输入特征（input features）

 

这样，如果我们想通过新的这组input features求解svm，只需要把之前讲过程中的所有出现了x的地方用φ(x)代替就ok了。

假设现在有内积<x,z>,则直接将其写为<φ(x) φ(z)>，我们将这个内积定义为一个核：

一般φ(x)的维度都比较高，直接把φ(x)计算并表示出来显得很复杂，但是计算K(x,z)的复杂度一般要低一些，所以往往不必把φ(x)或者φ(z)显示地表达出来。举个例子说明：

下面看另一个核的例子，