《机器学习》第六章——支持向量机

1.间隔与支持向量

分类学习 最基本的想法就是基于训练集在样本空间中找到一个划分超平面，将不同类别的样本分开。

在样本空间中，划分超平面可通过如下线性方程来描述：

                                                       

其中为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。

显然，划分超平面可被法向量 w 和位移 b 确定，记为（w，b）。

样本空间中任意点 x 到超平面的距离可写为

                                                     

假设超平面能将训练样本正确分类，则

                                                      

距离超平面最近的这几个训练样本点，使上式等号成立，它们被称为 支持向量 ，两个一类支持向量到超平面的距离之和称为    间隔 表示为：

                                                         

                           

欲找到具有 “最大间隔” 的划分超平面，也就是找到能满足中约束的参数 w 和 b ，使得 间隔 最大

                                                    

2.对偶问题

3.核函数

4.软间隔与正则化

对于绝大多数样本都是友好的，个别样本不符合；前面介绍的支持向量机形式是要求所有样本均满足约束，即所有样本都必须划分正确，这称为 “硬间隔” ，而 软间隔 则允许某些样本不满足约束

为了解决该问题，引入 松弛因子 

5.支持向量回归

6.核方法