感知机学习算法

感知机学习算法的原始形式：

感知机的学习问题转化为求解损失函数最优化问题，求解方法为随机梯度下降法。

求参数w b，使其为损失函数极小化问题的解。

感知机学习算法是误分类驱动的。

首先，随机选取一个超平面w0,b0 然后用梯度下降法不断的极小化损失函数。极小化过程是一次随机选取一个误分类点，使其梯度下降。

随机梯度下降法：https://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95

感知机学习算法的原始形式的直观解释：当实例被误分类时，去调整w b的值，使得超平面向着误分点的一侧移动。减小该误分点到超平面的距离，直至超平面越过该误分点使其被正确分类。

感知机学习算法采用不同的初始值或者选取不同的误分类点时得到的解也可以不同。

该算法的收敛性：

证明对于线性可分数据集，感知机学习算法的原始形式可以通过有限次的迭代可以得到一个将训练数据集完全正确划分的超平面和感知机模型。

误分类次数k是有上界的，经过有限次数的搜索能够找到将数据集正确分类的超平面。也就是说，当数据集线性可分时，感知机学习算法原始形式迭代是收敛的。为了得到唯一的超平面，需要对分离超平面增加约束条件。

当训练集线性不可分时，感知机学习算法无法进行收敛，迭代结果会发生震荡。

感知集学习算法的对偶形式：

感知机学习算法有两种形式：原始形式，对偶形式。

对偶形式的基本思想是将w b表示为实例xi 和标记yi的线性组合形式，通过求解其系数而求得w和b。

实例点更新次数越多，就意味着它距离超平面点越近，就越难被正确分类。