感知机

一、定义

1. 统计学习方法一书中感知机有如下定义

由上面可知，感知机模型是一种判别模型且是线性的，模型主要任务是求得参数w和b。

2. 定义损失函数

那么我们最小化损失函数求得的w、b即为最优解。

用梯度下降法来最小化损失函数，损失函数的梯度如下：

 

二、算法

三、对偶形式

1. 总结w的更新，假设每个训练样本被误分次数为,初始值，最后得到的和可以表示为

因而，感知机函数可以写为

2. 此时问题归为求，算法如下

(1)设立初始值

(2)训练集中选取数据

(3)如果

(4)转到(2)直到没有误分数据。

为了方便计算，引入Cram矩阵

四、收敛性