感知机学习策略

数据集的线性可分性

如果存在某个超平面S能够将能够将正实例点和负实例点完全正确的划分到超平面的两侧。即对于所有的yi=1,w*xi+b>0 对于所有的yi=-1,w*xi+b<0,则称数据集T为线性可分数据集。

假设训练数据集是线性可分的，感知机学习的目标就是求得一个能够将训练集正实例和负实例点完全正确分开的分离超平面。为了找出这样的超平面，需要确定一个学习策略，即定义损失函数并将损失函数极小化。

损失函数的选择：

1误分类点总数，因为这样的话损失函数不是参数w b的连续可导函数，不易优化。

2误分类点到超平面的总距离。采用该损失函数。

如果没有误分点，损失函数值为0，如果误分点越少，误分点距离超平面越近，那么损失函数值越小。、

损失函数L(w,b)是w b的连续可导函数。

感知机学习的策略是在假设空间中选取使得损失函数最小的模型参数w b。