感知机最优化方法：梯度下降法

最小化感知机的损失函数

                                 

其中M为误分类点的集合。

      感知机学习算法是误分类驱动的，具体采用随机梯度下降法。首先，任意选取一个超平面，然后用梯度下降法不断极小化目标函数，极小化的过程不是一次使M中所有的误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

     假设误分类点M是固定的，损失函数L(w,b)的梯度由以下式子给出。

                                   

         随机选取一个误分类点，对w, b进行更新：

                                        

式中是步长，在统计学习中又称为学习率（learningrate）。这样，通过迭代可以期待损失函数L(w,b)不断减小，直到为0。