机器学习第十一课(SVM)

一些概念:

误差的累积叫做风险
样本数据上的分类的结果与真实结果之间的差值叫做经验风险Remp(w)。
真实风险应该由两部分内容刻画， 一是经验风险，代表了分类器在给定样本上的误差； 二是置信风险，代表了我们在多大程度上可以信任分类器在未知文本上分类的结果。
泛化误差界的公式为：
R(w)≤Remp(w)+Ф(n/h)
公式中 R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。 统计学习的目标.从经验风险最小化变为了寻求经验风险与置信风险的和最小， 即结构风险最小。
SVM的几种类型:

如果一个线性函数能够将样本完全正确的分开，就称这些数据是线性可分的，否则称为非线性可分的。

SVM的本质:

在进行文本分类的时候，我们可以让计算机这样来看待我们提供给它的训练样本，每一个样本由一个向量（就是那些文本特征所组成的向量）和一个标记（标示出这个样本属于哪个类别）组成。如下：
Di=(xi,yi)
xi就是文本向量（维数很高），yi就是分类标记。
在二元的线性分类中，这个表示分类的标记只有两个值， 1 和-1（用来表示属于还是不属于这个类,法线方向为正） 。有了这种表示法，我们就可以定义一个样本点到某个超平面的间隔：
δi=yi(wxi+b)
这个公式乍一看没什么神秘的，也说不出什么道理，只是个定义而已，但我们做做变换，就能看出一些有意思的东西。
首先注意到如果某个样本属于该类别的话，那么 wxi+b>0（记得么?这是因为我们所选的g(x)=wx+b就通过大于0还是小于0来判断分类,而yi也大于0；若不属于该类别的话，那么wxi+b<0，而yi也小于0，这意味着yi(wxi+b)总是大于0的，而且它的值就等于|wxi+b|！（也就是|g(xi)|）现在把w和b进行一下归一化，即用w/||w||和b/||w||分别代替原来的w和b，那么间隔就可以写成
这里对应了SVM的本质

当用归一化的w和b代替原值之后的间隔有一个专门的名称，叫做几何间隔，几何间隔所表示的正是点到超平面的欧氏距离，我们下面就简称几何间隔为“距离”。 

这张图更加直观的展示出了几何间隔的现实含义：

而从上式可以看出， 误分次数的上界由几何间隔决定.

我们有了一个线性分类函数，也有了判断解优劣的标准——即有了优化的目标，这个目标就是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？回头再看看我们对间隔和几何间隔的定义：
间隔： δ=y(wx+b)=|g(x)|

可以看出 δ=||w||δ几何。注意到几何间隔与||w||是成反比的， 因此最大化几何间隔与最小化||w||完全是一回事。而我们常用的方法并不是固定||w||的大小而寻求最大几何间隔，而是固定间隔（例如固定为1,比如y+x=2,我们只要两边除以一个系数就能使结果为1），寻找最小的||w||。而凡是求一个函数的最小值（或最大值）的问题都可以称为寻优问题（也叫作一个规划问题），又由于找最大值的问题总可以通过加一个负号变为找最小值的问题，因此我们下面讨论的时候都针对找最小值的过程来进行。一个寻优问题最重要的部分是目标函数，顾名思义，就是指寻优的目标。例如我们想寻找最小的||w||这件事，就可以用下面的式子表示

下面来看看目标函数的推导:

接下来我们自然会问的就是，这个式子是否就描述了我们的问题呢？
如果直接来解这个求最小值问题，很容易看出当||w||=0的时候就得到了目标函数的最小值。但是你也会发现，无论你给什么样的数据，都是这个解！反映在图中，就是 H1 与H2两条直线间的距离无限大，这个时候，所有的样本点（无论正样本还是负样本）都跑到了H1和H2中间，而我们原本的意图是，H1右侧的被分为正类，H2左侧的被分为负类，位于两类中间的样本则拒绝分类（拒绝分类的另一种理解是分给哪一类都有道理，因而分给哪一类也都没有道理）。这下可好，所有样本点都进入了无法分类的灰色地带。
造成这种结果的原因是在描述问题的时候只考虑了目标，而没有加入约束条件，约束条件就是在求解过程中必须满足的条件，体现在我们的问题中就是样本点必须在H1或H2的某一侧（或者至少在H1和H2上），而不能跑到两者中间。我们前文提到过把间隔固定为1，这是指把所有样本点中间隔最小的那一点的间隔定为1（这也是集合的间隔的定义，有点绕嘴），也就意味着集合中的其他点间隔都不会小于1，按照间隔的定义，满足这些条件就相当于让下面的式子总是成立：

接下来就是用拉格朗日乘子法来解这个问题:

不加入松弛变量的叫做“硬间隔”分类法，因为他硬性的要求所有样本点都满足和分类平面间的距离必须大于某个值。硬间隔的分类法其结果容易受少数点的控制,这是很危险的.但解决方法也很明显，就是仿照人的思路，允许一些点到分类平面的距离不满足原先的要求.这样就引入容错性，就给几何间隔"1" 这个硬性的阈值加一个松弛变量.因为松弛变量是非负的，因此最终的结果是要求间隔可以比1小。但是当某些点出现这种间隔比1小的情况时(这些点也叫离群点)，意味着我们放弃了对这些点的精确分类，而这对我们的分类器来说是种损失。但是放弃这些点也带来了好处，那就是使分类面不必向这些点的方向移动，因而可以得到更大的几何间隔(在低维空间看来， 分类边界也更平滑)。加入松弛变量的叫做“软间隔”分类法

下面来说说核函数: