Digression：The perceptron learning algorithm（感知机学习算法）

Digression：The perceptron learning algorithm

离散：（感知机学习算法）

本章主要讲解感知机算法：

1. 感知机算法的假设函数

2. 感知机算法的损失函数含说明，收敛性的证明

3. 感知机学习算法的参数更新 SGD

4. 感知机python代码演示

--------------------------------------------------------------------------------------------------------------------------------------------------

前言：

最近在研究机器学习理论的时候发现了一本好书，是李航博士的《统计学习方法》，书写得深入浅出，直白易懂，虽然不厚，但把统计学习各个方面都照顾到了，非常适合我这种机器学习方面的入门者，于是产生了一种写写读书笔记的想法，至少在日后看起来，也算是自己在追求大道上的一点回忆。

先给出书的豆瓣链接：《统计学习方法》，书真的很好，再次推荐！

本文主要参考了博客园的作者文章：http://www.cnblogs.com/OldPanda/archive/2013/04/12/3017100.html

1. 感知机算法的假设函数（模型）

     我们先来定义一下什么是感知机？所谓感知机，就是二类分类的线性分类模型，其输入为样本的特征向量，输出为样本的类别，取 +1 和 -1 二值（自己可以随便定义这个离散值，只要能分开两类的boolean就行的），即通过某样本的特征，就可以准确判断该样本属于哪一类。顾名思义，感知机能够解决的问题首先要求特征空间是线性可分的，再者是二类分类，即将样本分为{+1, -1}两类。从比较学术的层面来说，由输入空间到输出空间的函数：

感知机的假设函数其实就是类别标签的值，一般有很多中表达方式：

(1)  最常用的表达方式：｛-1，1｝的形式

(2) 今天我们讲解的模型为： ｛1，0｝的形式

从上面的公式我们已经知道，类别标签使我们自己定义的离散值，例如｛0，1｝或者｛-1，1｝都可以! 而我们的假设函数就是根据类别标签来设置的，如何设置呢？为了表示2个类别，最终理想的分类函数为 W