[统计学习方法]感知机

1.感知机模型

其中w和b为感知机模型的参数，w为权值向量，b为偏置，sign为符号函数，当x大于等于0时，sign(x)=+1，否则sign(x)=-1。

感知器模型是用来解决二元分类的模型，即输入是特征向量，输出是类别（取+1和-1两个值），例如，给定银行客户的基本信息（性别，年龄，年薪等等，称为特征向量），输出为是否发信用卡（是：+1，否：-1），或者是判别一封邮件是否是垃圾邮件等等。

感知机模型是一种线性分类的模型，在几何中可以想象成一个特征空间Rn的一个超平面S，w为法向量，b为截距，这个超平面将特征空间划分成两部分，这两部分分别表示正的结果和负的结果。

如果说得比较通俗的话，就是寻找一个函数

使得对于所有的已知数据(x,y)，当y为+1的时候，该函数的取值都大于等于0，y为-1时，该函数的取值都小于0。

这里，我们需要确定的值有w1~wn和b。

PS：在这里我们可以在每个数据中加入个x0=1，使得函数变成

其中w0=b，这么做的好处是可以把b和w统一起来一起计算，且f(x)就可以直接记成两个向量w和x的内积，当然本书没有这么处理，就先不怎么处理吧。

2.数据集的线性可分性

如果真的存在这么个f(x)，使得对于所有数据，y=+1时f(x)>=0，y=-1时f(x)<0的话，那么这组数据我们可以说是线性可分的，也就是能找到一个超平面S完美分割这部分数据，不然则说数据集是线性不可分的。

从几何上来说，可以观察y为正的点构成的凸包和y为负的点构成的凸包，看这两个凸包是否有交集，如果有交集则线性不可