机器学习第6章（支持向量机）

最新推荐文章于 2024-10-29 14:43:43 发布

罗辑罗辑

最新推荐文章于 2024-10-29 14:43:43 发布

阅读量900

点赞数

分类专栏：机器学习文章标签：神经网络数据挖掘机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/jinhualun911/article/details/108794376

版权

机器学习专栏收录该内容

25 篇文章

订阅专栏

支持向量机(support vector machine)

6.1 间隔与支持向量

给定训练样本 $D=\left \{ (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{m},y_{m}) \right \},y_{i}\in \left \{ -1,+1 \right \}$ ，在样本空间中，划分超平面可通过如下线性方程描述： $w^{T}x+b=0$ ，其中 $w=(w_{1},w_{2},...,w_{d})$ 为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。

样本空间中任意点x到超平面（w,b）的距离可写为：

$r=\frac{|w^{T}x+b|}{||w||}$ 公式（1）

设超平面（w,b）能够将训练样本正确分类，即对于 $(x_{i},y_{i})\in D$ ，若 $y_{i}=+1$ ，则有 $w^{T}x_{i}+b>0$ ；若 $y_{i}=-1$ ，则有 $w^{T}x_{i}+b<0$ 。令

$\left\{\begin{matrix} w^{T}x_{i}+b\geq +1,y_{i}=+1\\ w^{T}x_{i}+b\leq -1,y_{i}=-1 \end{matrix}\right.$ 公式（2）

支持向量(support vector)就是划分的超平面后离超平面最近的两个异类样例，形象上看，是这些样例支撑着这个超平面；

两个异类支持向量到超平面的距离之和为 $\gamma =\frac{2}{||w||}$ ，这个值被称为间隔(margin)。

欲寻得最大间隔（maximum margin）的划分超平面，就是要找到能使公式（2）中的参数w,b，使得 $\gamma$ 最大，即：

$max(w,b) \frac{2}{||w||},s.t. y_{i}(w^{T}x_{i}+b)\geq 1,i=1,2...,m$ 公式（3）

为了最大化间隔，仅需最大化 $||w||^{-1}$ ，相当于最小化 $||w||^{2}$ ，由此可将公式（3）重写为：

$min(w,b) \frac{1}{2}||w||^{2}, s.t. y_{i}(w^{T}x_{i}+b)\geq 1,i=1,2...,m$ 公式（4）

6.2 对偶问题

拉格朗日乘子

SMO算法

6.3 核函数

针对线性不可分问题，可将原始样本映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

令 $\phi (x)$ 表示将x映射后的特征向量，于是，在特征空间中划分超平面所对应的模型可表示为：

$f(x)=w^{T}\phi (x)+b$ 公式（5）

6.4 软间隔与正则化

所有样本都必须划分正确的间隔称为硬间隔（hard margin），软间隔则是允许某些样本不满足约束。

6.5 支持向量回归

6.6 核方法

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。