感知机学习算法的实现以及收敛性的简单证明

感知机分为原始形式和对偶形式两种，是针对二分类问题，利用分离超平面进行分类的判别模型。分类策略与方法是基于误分类的损失函数，利用梯度下降对损失函数进行极小化。感知机具有简单易于实现的特点。

---

定义

• 假设输入空间（特征空间）是 χ ⊆ Rn，输出空间是y=(+1,−1)。
• 输入χ∈X表示实例的特征向量，对应于输入空间的点；输出y∈γ表示实例的类别。由输入空间到输出空间的如下函数： 称为感知机。
• 其中，w和b为感知机模型的参数，sign是符号函数，即：
• 感知机的几何解释是，线性方程对应于超平面S（w为法向量，b为截距）
  将特征空间划分为正负两个部分，这个平面（2维时退化为直线）称为分离超平面。

---

感知机的学习策略

选择误分类点到超平面的总距离作为损失函数。点到平面的距离为，||w|| 为w的L2范数，即

对于误分类点存在 那么所有误分类点到超平面的总距离为
将w的L2范数移除（因为其总是正数），得到损失函数如下，其中M为误分类点的数目

---

算法

通过以上推导得知，感知机问题其实就是求解损失函数的最优化问题，

首先任意选择一个超平面，然后利用梯度下降法，不断极小化目标函数,损失函数L的梯度
选取误分类点进行更新，其中 η 为学习率
感知机算法的原始形式
代码实现 （引用）
https://www.cnblogs.com/liuyang0/