什么是感知机
感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。
感知机对应于输入空间(特征空间)中将实例分为正负两类的分离超平面,属于判别模型。
感知机旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。
最重要的是感知机是支持向量机(SVM)的基础(修改下损失函数,后面会介绍)
感知机模型
定义:假设输入空间(特征空间)是χ属于RnR^nRn,输出空间是Υ属于{+1,-1},输入x∈χx∈χx∈χ表示实例的特征向量,对应于输入空间的点;输出y表示实例的类别
由输入空间到输出空间的如下函数:
f(x)=sign(wx+b)f(x)=sign(wx+b)f(x)=sign(wx+b)称为感知机 (这个就是感知机模型)
其中,w和b称为感知机的参数,w为权值向量,b为偏置,wx表示w和x的内积,sign是符号函数即w和b称为感知机的参数,w为权值向量,b为偏置,wx表示w和x的内积,sign是符号函数 即w和b称为感知机的参数,w为权值向量,b为偏置,wx表示w和x的内积,sign是符号函数即
sign(x)=+1当x≥0sign(x)=+1当x≥0sign(x)=+1当x≥0
sign(x)=−1当x<0sign(x)=-1当x<0sign(x)=−1当x<0
感知机是一种线性分类模型,属于判别模型。感知机的假设空间是定义在特征空间中的所有线性分类器,即函数集合f∣f(x)=wx+b{f|f(x)=wx+b}f∣f(x)=wx+b
感知机的几何解释
感知机有如下的几何解释:对于线性方程 wx+b=0wx+b=0wx+b=0 ——(1)
对应于特征空间一个超平面S,其中w是超平面的法向量,b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点被分为正负两类。因此超平面称为分离超平面。如下图所示:
感知机学习,由训练数据集(实例的特征向量及类别)T={
(x1,y1),(x2,y2),……(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),……(x_N,y_N)\}T={
(x1,y1),(x2,y2),……(xN,yN)}
求得感知机模型 f(x)=sign(wx+b)f(x)=sign(wx+b)f(x)=sign(wx+b),即求得模型参数w,bw,bw,b
感知机预测:通过学习得到的感知机模型,对于新的输入实例给出其对应的输出类别。
感知机学习策略
数据集的线性可分性:
定义:给定一个数据集T=(x1,y1),(x2,y2)……(xn,yn)T={(x_1,y_1),(x_2,y_2)……(x_n,y_n)}T=(x1,y1),(x2,y2)……(xn,yn),其中xix∈χ,yix∈+1,−1,i=1,2……Nx_ix∈χ,y_ix∈{+1,-1},i=1,2……Nxix∈χ,