统计学习方法—第二章 感知机（perceptron）（持续更新）

感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。类别分别用+1和-1二值表示。顾名思义，这个模型能通过一个“黑箱”“感知到”输入变量的属性/特点，从而将变量分类。感知机（perceptron）是监督学习的一种，监督学习的模型可分为生成模型和判别模型，其中感知机模型为判别模型。感知机模型的工作原理，我们可以简单的理解为：在二维平面里，一条直线把坐标平面里的点分为+1和-1两类。在三维空间里面，则是一个平面将空间里面的点分为+1和-1两类。延伸到多维空间里面，类似的道理。而将平面空间分类的“线”或者“面”，我们称作超平面 （seperating hyperplane）。在支持向量机学习中也应用到超平面的概念，可以简单的将支持向量机理解为加了距离限制的感知机。感知机模型在分类的时候，会出现将+1类的点分到-1类或者将-1类的点分到+1类。我们将这种误分类用损失函数表示，因此整个 感知机模型学习的目标就是 将损失函数极小化。感知机模型可以表示为 ：f（x）

=sign（w*x+b ）,w被称为权值（weight）或者权值向量（weight vector）。b被称为偏置（bias）。sign函数可表示为sign（x）=+1（x=>0）OR sign（x）=-1(x<0)。其中损失函数定义就是误分离点到超平面之间的总距离，感知机sign（w*x+b）学习的损失函数表示

为：