感知机原理及python实现

感知机python实现
给定一个数据集：

$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

$$y_i \in \{-1,+1\}$$

输入空间中任意一点$x_0$到超平面S的距离为：

$$-\frac{1}{||w||}y_i|w\cdot x_0 +b|$$
$这里||w||是w的L_2范数$
$假设超平面S的误分点集合为M，那么所有误分点到超平面S的总距离为：$

$$-\frac{1}{||w||}\sum_{x_i \in M}y_i|w\cdot x_i +b|$$

$在不考虑\frac{1}{||w||}的情况下得到感知机学习的损失函数$

$$L(w,b)= -\sum_{x_i \in M}y_i|w\cdot x_i +b|$$

假设误分类点M是固定的，那么损失函数的梯度为：

$$\begin{eqnarray} \bigtriangledown_wL(w,b)= -\sum_{x_i \in M}y_ix_i \\ \bigtriangledown_wL(w,b)= -\sum_{x_i \in M}y_i \end{eqnarray}$$

随机选取一个误分类点$(x_i,y_i),对w,b进行更新$

$$\begin{eqnarray} &&w:= w +\eta y_ix_i \\&&b:= b + \eta y_i \end{eqnarray}$$