感知机模型

一、感知机概述
1、定义：感知机就是一个二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。
2、感知机对应于将输入空间中的实例分为正负两个类别的分离超平面，其属于判别分类模型。其基于误分类的分类损失函数，利用梯度下降法计算分类损失函数的极小值，得到感知机模型。
感知机学习算法分为原始形式和对偶形式。感知机就是利用学习到的感知机模型对新输入的数据进行预测分类。
二、感知机模型
1、假设输入空间为$x\subseteq R^{n}$ ,输出为y={-1，1}。输入$x\subseteq R^{n}$就代表的实例输入向量，而输出就是实例的类别y。由输入到输出的函数可以表示为：

感知机是一种线性分类模型，属于判别模型．
感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，函数集合{f|f(x)=w.x+b}。
2。感知机的几何解释
线性方程w.x+b=0，解释如下：
其对应着空间$R^{n}$中的一个超平面，其中w是超平面的法向量，b为截距。该平面特征空间分为两个部分，位于空间中的实例被分为正负两个类别。因此该平面成为分离超平面。如下图：

三、感知机的学习策略
1、数据集的线性可分性
假设数据集为T={（x1，y1），…，（xn，yn）},分离超平面为w.x+b=0。对于所有y=1的点都有w.x+b>0，对于所有y=-1的点都有w.x+b<0，则成为该数据及线性可分，否则线性不可分。
2、感知机策略
（1）假设给定数据集是线性可分的，那么我们的目标应该是找出一个超平面将数据集中的正例点和负例点完全正确的分开。为了找出分离超平面，我们需要确定系数w和b。然后确定一个学习策略，即定义损失函数，并将损失函数极小化。
（2）损失函数
定义损失函数最简单的方式就是计算误分类点的数量，但是这种计算方式不是连续的，不可导，因而难优化。另一种方式就是定义误分类点到分离超平面的距离。因此我们首先定义一个误分类点到分离超平面的距离为：
$\frac{1}{||\omega ||}*(\omega .x+b)$
其中||w||是w的L2范数。
并且误分类点对于$y_{i}*(\omega .x_{i}+b)<0$成立。因此假设误分类点集合为M，则损失函数可以记为：
−1||ω||