机器学习笔记一:感知机

感知机模型
f(x) = sign(wx + b)
感知机算法是误分类驱动的。具体采用随机 梯度下降法。
通过随机选择误分类点使梯度下降，直至算法收敛及分类完全正确。

感知机算法特点：
1）感知机算法在训练样本上的误分类次数k是有上限的，即经过有限次搜索就可以找到将训练数据完全正确分开的分离超平面。
2）感知机算法村存在许多解，这些解既依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序。

感知机算法也存在对偶形式，可以使用训练样本的内积（Gram）矩阵
进行运算求解。

第二章–感知机学习算法
《统计学习方法》–李航