详解SVM系列(一):感知机

感知机是二类分类的线性模型,基于误分类的损失函数进行学习,寻找将训练数据线性划分的超平面。本文介绍了感知机的模型、几何解释、学习策略和随机梯度下降的学习算法,探讨了其在线性可分数据集上的收敛性,并指出其作为支持向量机的基础。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

什么是感知机

感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。

感知机对应于输入空间(特征空间)中将实例分为正负两类的分离超平面,属于判别模型。

感知机旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。

最重要的是感知机是支持向量机(SVM)的基础(修改下损失函数,后面会介绍)

感知机模型

定义:假设输入空间(特征空间)是χ属于RnR^nRn,输出空间是Υ属于{+1,-1},输入x∈χx∈χxχ表示实例的特征向量,对应于输入空间的点;输出y表示实例的类别
由输入空间到输出空间的如下函数:
f(x)=sign(wx+b)f(x)=sign(wx+b)f(x)=sign(wx+b)称为感知机 (这个就是感知机模型)
其中,w和b称为感知机的参数,w为权值向量,b为偏置,wx表示w和x的内积,sign是符号函数即w和b称为感知机的参数,w为权值向量,b为偏置,wx表示w和x的内积,sign是符号函数 即wbwbwxwxsign
sign(x)=+1当x≥0sign(x)=+1当x≥0sign(x)=+1x0
sign(x)=−1当x<0sign(x)=-1当x<0sign(x)=1x0

感知机是一种线性分类模型,属于判别模型。感知机的假设空间是定义在特征空间中的所有线性分类器,即函数集合f∣f(x)=wx+b{f|f(x)=wx+b}ff(x)=wx+b

感知机的几何解释

感知机有如下的几何解释:对于线性方程 wx+b=0wx+b=0wx+b=0 ——(1)
对应于特征空间一个超平面S,其中w是超平面的法向量,b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点被分为正负两类。因此超平面称为分离超平面。如下图所示:
在这里插入图片描述
感知机学习,由训练数据集(实例的特征向量及类别)T={ (x1,y1),(x2,y2),……(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),……(x_N,y_N)\}T={ (x1,y1),(x2,y2),(xN,yN)}
求得感知机模型 f(x)=sign(wx+b)f(x)=sign(wx+b)f(x)=sign(wx+b),即求得模型参数w,bw,bw,b

感知机预测:通过学习得到的感知机模型,对于新的输入实例给出其对应的输出类别。

感知机学习策略

数据集的线性可分性:

定义:给定一个数据集T=(x1,y1),(x2,y2)……(xn,yn)T={(x_1,y_1),(x_2,y_2)……(x_n,y_n)}T=(x1,y1),(x2,y2)(xn,yn),其中xix∈χ,yix∈+1,−1,i=1,2……Nx_ix∈χ,y_ix∈{+1,-1},i=1,2……Nxixχ,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值