感知机学习

感知机学习

一、感知机概念
二、学习目标
三、感知机模型

一、感知机概念

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出实例为类别，取+1和-1二值，属于判别模型。

二、学习目标

感知机学习的目标就是求得一个能够将训练集正实例点和负实例点完成正确分开的分离超平面。

三、感知机模型
1、假设输入空间是χ⊆Rnχ⊆Rn,输出空间是γ=(+1,−1)γ=(+1,−1)。输入χ∈Xχ∈X表示实例的特征向量，对应于输入空间的点；输出y∈γy∈γ表示实例的类别。由输入空间到输出空间的如下函数： f(x)=sign(wx+b)f(x)=sign(wx+b)称为感知机。其中，w和b为感知机模型的参数，sign是符号函数，即：sign(x)={+1 x<0
−1 x≥0}
2、损失函数：

（1） 常被称为感知机的损失函数，其值显然是非负的。如果没有误分类点，损失函数等于0，误分类点越少，损失函数值越小。所以感知机的学习策略就是选取参数和使达到最小值。
（2）采用随机梯度下降法，首先任意选取一个超平面和，然后用梯度下降法不断极小化损失函数，极小化的过程不是一次使中的所有误分类点的梯度下降，而是一次选取一个误分点使其梯度下降。
（3）假设误分类点集合M是固定的，那么损失函数L(w,b)的梯度为

通过计算，可以使损失函数不断减少，直至为0.