统计学习方法(第二版) 第七章 支持向量机(第二节)

本节介绍线性可分支持向量机与软间隔最大化。

---

前言

回顾：

统计学习方法（第二版） 第七章 拉格朗日对偶性-优快云博客

统计学习方法(第二版) 第七章 支持向量机（第一节）-优快云博客

        第一节学习线性可分支持向量机,对线性不可分的数据是不适用的,因为不是所有数据集都满足约束条件，也就是说对于约束条件无解。为了扩展到线性不可分问题，我们需要将硬间隔最大化改为软间隔最大化。

        为什么研究线性可分支持向量机和软间隔最大化？

因为假设现实的数据集分布是线性可分得，但在实际对数据的获取可能存在偏差，导致数据集的分离边界模糊，并不是一个完全线性可分的数据集，这时为了得到模型和提高模型的泛化能力，需要对数据集进行一定的容忍，也就是加入一定的正则项，防止过拟合。

---

一、线性支持向量机

经过上一节的学习，这部分理解起来会更加容易。

二、学习的对偶算法

统计学习方法（第二版） 第七章 拉格朗日对偶性-优快云博客

三、支持向量

        线性可分支持向量机与软间隔最大化的支持向量与硬间隔最大化不同，其支持向量包括：在分类边界内部的点，在分类边界上和在分类边界以外误分类的点。

这里对支持向量的个人理解：

        支持向量是对分类边界取到重要作用的向量（数据），故在硬间隔最大化时，由于数据集线性可分，对分类边界取决定性作用的是在分类边界上的点，而在软间隔最大化，数据集不是完全线性可分的，故对分类边界其决定作用的是在分类边界内部。在分类边界上和在分类边界以外的向量（数据）。

四.合页损失函数

---

总结

本节主要介绍线性可分支持向量机与软间隔最大化，学习问题和学习的对偶算法，以及软间隔最大化下的支持向量，最后简单介绍一下合页损失函数下的支持向量机。