感知机-支持向量机的简单详细理解

weixin_41911765

于 2018-09-09 22:05:39 发布

阅读量1.4k

点赞数 3

文章标签：感知机支持向量机 svm

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_41911765/article/details/82561722

版权

本文详细介绍了感知机模型，包括其作为线性分类器的角色，几何解释，以及感知机的学习过程。接着，文章探讨了支持向量机的核心思想，特别是线性支持向量机中的最大间隔超平面概念，以及如何通过拉格朗日乘数法解决凸优化问题来找到最优解。最后，总结了支持向量机的分类决策函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目录

感知机模型

感知机的学习

感知机的学习算法

支持向量机

线性支持向量机

感知机

感知机模型

感知机是什么？

简单地说感知机是一种映射，对来自输入空间的特征 $X=(x^{(1)},x^{(2)},..,x^{(n)})$ ，映射到输出空间中 $y=\{+1,-1\}$ ,它是一种线性分类器，只输出正负结果。

$f(x)=sign(w\cdot x+b)$

将 $f(x)$ 称为感知机，w,b分别为该感知机的权值(weight)和偏置(bias)，sign是符号函数，有两种输出结果

$sign(x)=\left\{\begin{matrix} +1,&x\geq 0 \\ -1,& x\leq 0 \end{matrix}\right.$

感知机的几何解释

从符号函数可以感受到感知机就是为了成就一个分离超平面，这个平面可以根据线性函数 $w\cdot x+b=0$ 将特征空间分成正负两部分，达到分类的效果。用图以助理解

图中的细节原点指向超平面的距离 $-\frac{b}{\left \| w \right \|}$ ，以及向量 $w$ 的方向将在下面交代。

感知机的学习

感知机作为一种监督学习的模型，其存在的意义固然是给定一堆带标注的数据让它训练出一个模型，以助于对未知特征的标注。因此感知机的学习就是训练出 $f(x)=sign(w\cdot x+b)$ 中的w和b。

定义点到超平面的距离

空间中的点 $x_0$ 到超平面S的距离为 $\frac{1}{\left \| w \right \|}|w\cdot x_0+b|$ ，证明见本节“距离函数的证明”。

定义损失函数

将训练数据中被误分类的点到超平面的距离总和定义为感知机的损失期望

$L(w,b)=-\frac{1}{\left \| w \right \|}\sum_{x_i\epsilon M}y_i(w\cdot x_0+b)$ ,M表示误分类的集合

当 $x_i\epsilon M$ 时， $y_i(w\cdot x_0+b)$ 的值总为负，对总和加上符号表示取损失值为正。

如果不考虑不考虑权值w的2-范数 ${\left \| w \right \|}$ ，则损失函数可以简化为

$L(w,b)=-\sum_{x_i\epsilon M}y_i(w\cdot x_0+b)$

距离函数的证明

1.首先明确一个，权值向量的方向总是垂直于超平面*①。

因为超平面S: $w\cdot x_*+b=w^{(1)}x^{(1)}+w^{(2)}x^{(2)}=0$

有 $x^{(2)}=-\frac{w^{(1)}}{w^{(2)}}x^{(1)}-\frac{b}{w^{(2)}}$ ， $-\frac{w^{(1)}}{w^{(2)}}$ 直观看来就是上图超平面直线的斜率

而权值向量 $w=w^{(1)}+w^{(2)}$ ，映射到上面的图中，将其看成直线，其斜率为 $\frac{w^{(2)}}{w^{(1)}}$

有 $-\frac{w^{(1)}}{w^{(2)}}\cdot\frac{w^{(2)}}{w^{(1)}}=-1$ ,表示 $w\perp S$ 。

2.令 $x_0$ 表示空间上的点， $x_*$ 表示超平面上的点，两点的距离为d，

有

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。