感知机

本文介绍了感知机模型的基本概念,包括其定义、学习策略及原始和对偶形式的算法实现。感知机是一种简单的线性分类模型,适用于解决二分类问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、感知机模型

定义:
假设输入空间是 XRnX⊆Rn,输出空间是 y={+1,1}y={+1,−1}.输入 xXx∈X 表示实例的特征向量,对应于输入空间的点;输出 yYy∈Y 表示实例的类别。由输入空间到输出空间的如下函数

f(x)=sign(wx+b)f(x)=sign(w∙x+b)

称为感知机。其中,wwb是感知机模型参数,wRnw∈Rn叫作权值,bRb∈R叫作偏置,wxw∙x表示wwx的内积。sign是符号函数

sign(x)={+1,1,x⩾0x<0sign(x)={+1,x⩾0−1,x<0

感知机是二类分类的线性分类模型,属于判别模型。二类分类,所以取+1和-1二值;线性分类,所以存在超平面SS将特征空间划分为两个部分,位于两部分的点(特征向量)分别为正、负两类。

2、感知机学习策略

感知机的策略是求误分类点到超平面S的总距离的最小值,因为感知机的数据集是线性可分的,所以也就是求误分类点到超平面SS的总距离等于0的值。
x0到超平面SS的距离:

1w|wx0+b|

其中w‖w‖L2L2范数(向量元数绝对值的平方和再开方)

该公式可由d=ax0+by0+ca2+b2d=ax0+by0+ca2+b2可推理得到。

因些误分类点到超不面SS的距离:

1wyi(wx0+b)

我们已经知道感知机的策略是求误分类点到超平面SS的总距离等于0的值,所以可以忽略1w,但不能忽略负号,因为损失函数是非负实值的函数。因此可以定义sign(wx+b)sign(w∙x+b)的损失函数为

L(w,b)=xiMyi(wxi+b)L(w,b)=−∑xi∈Myi(w∙xi+b)

3、感知机算法的原始形式

1、算法
输入:训练数据集T={(x1,y1),(x2,y2),,(xn,yn)}T={(x1,y1),(x2,y2),∙∙∙,(xn,yn)},其中xiX=RnyiY={1,+1}i=1,2,Nxi∈X=Rn,yi∈Y={−1,+1},i=1,2,∙∙∙N;学习率 η0<η1)η(0<η⩽1)
输出:wbw,b;感知机模型:

f(x)=sign(wx+b)f(x)=sign(w∙x+b)

(1)选取初值w0,b0w0,b0,一般初值选w0=0,b0=0w0=0,b0=0
(2)在训练集中选取数据xi,yi(xi,yi)
(3)如果yi(wxi+b)0yi(w∙xi+b)⩽0
ww+ηyixiw←w+ηyixi

bb+ηyib←b+ηyi

(4)转至(2),直到训练集没有误分类点。

2、算法的收剑性

4、感知机算法的对偶形式

输入:训练数据集T={(x1,y1),(x2,y2),,(xn,yn)}T={(x1,y1),(x2,y2),∙∙∙,(xn,yn)},其中xiX=RnyiY={1,+1}i=1,2,Nxi∈X=Rn,yi∈Y={−1,+1},i=1,2,∙∙∙N;学习率 η0<η1)η(0<η⩽1)
输出:α,bα,b;感知模型:

f(x)=sign(j=1Nαjyjxjx+b)f(x)=sign(∑j=1Nαjyjxj∙x+b)
.
其中α=(α1,α2,,αN)Tα=(α1,α2,∙∙∙,αN)T.
(1)α0,b0α←0,b←0
(2)在训练集中选取数据xi,yi(xi,yi)
(3)如果
yi(j=1Nαjyjxjx+b)0yi(∑j=1Nαjyjxj∙x+b)⩽0

则更新参数
αiαi+ηαi←αi+η

bb+ηyib←b+ηyi

(4)转至(2),直到训练集没有误分类数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值