《统计学习方法，李航》：2、感知机模型

1）概述

2）感知器模型

3）感知器策略

4）感知器算法

1）概述

    感知机学习旨在求出将训练数据集进行线性划分的分类超平面（线性不可分的训练样例不能被感知器学习）。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。

2）感知器模型

     f(x)= sign(w*x+b)。其中，x为输入向量，sign为符号函数。w为权值向量，b为偏置，求感知机模型即求模型参数w和b。

3）感知器策略

耗费函数定义为L(w,b)=-( y1*(w*x1+b)+...+ym*(w*xm+b) )，自己想清楚为什么这样定义耗费函数。

4）感知器算法

极小化耗费函数L(w,b)的梯度是对w和b求偏导，即：

所以，感知机学习算法如下：


该算法的收敛性和对偶形式参考原书。