机器学习第六章-支持向量机

目录

6.1间隔与支持向量

6.2对偶问题

6.3核函数

6.4软间隔与正则化

6.5支持向量回归

---

6.1间隔与支持向量

        分类学习最基本的想法就是基于训练集D 在样本空间中找到一个划分超平面、将不同类别的样本分开。

        在样本空间中，划分超平面可通过如下线性方程来描述:      

                                                   

        其中 w= (w1;w2，...w d) 为法向量，决定了超平面的方向，b 为位移项，决定了超平面与原点之间的距离.

        样本空间中任意点x  到超平面(w，b）的的距离可写为：

                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

        距离超平面最近的这几个训练样本点使上式的等号成立，它们被称为"支持向量"  ，两个异类支持向量到超平面的距离之和为 它被称为"间隔" .

6.2对偶问题

        可以使用拉格朗日乘子法解决对偶问题。则该问题的拉格朗日函数可写为：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

        其中 α=(α1  ，α2... α m). L( w，b， α) 对w和b