感知机是二类分类的线性模型，基于误分类的损失函数进行学习，寻找将训练数据线性划分的超平面。本文介绍了感知机的模型、几何解释、学习策略和随机梯度下降的学习算法，探讨了其在线性可分数据集上的收敛性，并指出其作为支持向量机的基础。
什么是感知机
感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。
感知机对应于输入空间（特征空间）中将实例分为正负两类的分离超平面，属于判别模型。
感知机旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
最重要的是感知机是支持向量机（SVM）的基础（修改下损失函数，后面会介绍）
感知机模型
定义：假设输入空间（特征空间）是χ属于RnR^nRn,输出空间是Υ属于{+1,-1},输入x∈χx∈χx∈χ表示实例的特征向量，对应于输入空间的点；输出y表示实例的类别
由输入空间到输出空间的如下函数：
f(x)=sign(wx+b)f(x)=sign(wx+b)f(x)=sign(wx+b)称为感知机 （这个就是感知机模型）
其中，w和b称为感知机的参数，w为权值向量，b为偏置，wx表示w和x的内积，sign是符号函数即w和b称为感知机的参数，w为权值向量，b为偏置，wx表示w和x的内积，sign是符号函数 即w和b称为感知机的参数，w为权值向量，b为偏置，wx表示w和x的内积，sign是符号函数即
sign(x)=+1当x≥0sign(x)=+1当x≥0sign(x)=+1当x≥0
sign(x)=−1当x＜0sign(x)=-1当x＜0sign(x)=−1当x＜0
感知机是一种线性分类模型，属于判别模型。感知机的假设空间是定义在特征空间中的所有线性分类器，即函数集合f∣f(x)=wx+b{f|f(x)=wx+b}f∣f(x)=wx+b
感知机的几何解释
感知机有如下的几何解释：对于线性方程 wx+b=0wx+b=0wx+b=0 ——(1)
对应于特征空间一个超平面S，其中w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点被分为正负两类。因此超平面称为分离超平面。如下图所示：
感知机学习，由训练数据集（实例的特征向量及类别）T={
(x1,y1),(x2,y2),……(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),……(x_N,y_N)\}T={
(x1,y1),(x2,y2),……(xN,yN)}
求得感知机模型 f(x)=sign(wx+b)f(x)=sign(wx+b)f(x)=sign(wx+b),即求得模型参数w,bw,bw,b
感知机预测：通过学习得到的感知机模型，对于新的输入实例给出其对应的输出类别。
感知机学习策略
数据集的线性可分性：
定义：给定一个数据集T=(x1,y1),(x2,y2)……(xn,yn)T={(x_1,y_1),(x_2,y_2)……(x_n,y_n)}T=(x1,y1),(x2,y2)……(xn,yn),其中xix∈χ,yix∈+1,−1,i=1,2……Nx_ix∈χ,y_ix∈{+1,-1},i=1,2……Nxix∈χ,
最低0.47元/天 解锁文章
扫一扫
1485
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
