感知机 —— 算法（原始形式）

算法流程

输入：训练数据集T={(x1,y1),(x2,y2),⋅⋅⋅,(xN,yN),}T= \left\{ (x_1,y_1), (x_2,y_2),···,(x_N,y_N),\right\}T={(x1​,y1​),(x2​,y2​),⋅⋅⋅,(xN​,yN​),}，其中$x_i\in \chi ={\mathbf{R}}^n$，yi∈Y={−1,+1},i=1,2,⋅⋅⋅,Ny_i\in Y=\left\{-1,+1\right\},i=1,2,···,Nyi​∈Y={−1,+1},i=1,2,⋅⋅⋅,N；学习率$\eta (0<\eta \le 1)$；
输出：$w,b$；感知机模型$f(x)=sign(w\cdot x+b)$。

• 解的过程：

  （1）选取初值$w_0,b_0$；
  （2）在训练集中选取数据$(x_i,y_i)$；
  （3）如果$y_i(w\cdot x_i+b)\le 0$，$$w\leftarrow w+\eta y_i{x}_i$$ $$b\leftarrow b+\eta y_i$$
  （4）转至（2），直至训练集中没有误分类点

• 注释：当一个点实例点被误分类，即位于分离超平面的错误一侧时，则调整$w,b$的值，使分离超平面向该分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面超过误分类点使其被正确分类。

算法示例

例2.1：在训练集中，其正实例点是$x_1=(3,3{)}^T$，$x_2=(4,3{)}^T$，其负实例点是$x_3=(1,1{)}^T$，试用感知机学习算法的原始形式求感知机模型$f(x)=sign(w\cdot x+b)$。这里，$w=(w^{(1)},w^{(2)}{)}^T$，$x=(x^{(1)},x^{(2)}{)}^T$。

• 思路：
  构建最优化问题：$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
  按照上述算法流程求解$w,b。\eta =1$。

• 解：
  （1）取初值$w_0=0,b_0=0$
  （2）取点$x_1=(3,3{)}^T,y_1(w_0\cdot x_1+b_0)=0$，即满足$y_i(w\cdot x_i+b)\le 0$，未能被正确分类，故更新$w,b$ $$w_1=w_0+y_1{x}_1=(3,3{)}^T,b_1=b_0+1$$
  得到线性模型：$$w_1\cdot x+b_1=\left[\begin{array}{c}3\\ 3\end{array}\right]\cdot x+1=3x^{(1)}+3x^{(2)}+1$$
  （3）取点$x_1,x_2$，显然，$y_i(w\cdot x_i+b)>0$，即被正确分类，不修改$w,b$ ；取点$x_3=(1,1{)}^T,y_3(w_1\cdot x_3+b_1)<0$，即满足满足$y_i(w\cdot x_i+b)\le 0$，未能被正确分类，故更新$w,b$
  $$w_2=w_1+y_3{x}_3=\left[\begin{array}{c}3\\ 3\end{array}\right]+(-1)\cdot \left[\begin{array}{c}1\\ 1\end{array}\right]=\left[\begin{array}{c}2\\ 2\end{array}\right]=(2,2{)}^T$$
  $$b_2=b_1+y_3=1+(-1)=0$$
  得到线性模型：
  $$w_2\cdot x+b_2=\left[\begin{array}{c}2\\ 2\end{array}\right]\cdot x+1=2x^{(1)}+2x^{(2)}+1$$
  （4）每次更新$w,b$ 就要从新遍历整个训练集，如此继续下去，直到
  $$w_7=(1,1{)}^T,b_7=-3$$
  $$w_7\cdot x+b_7=\left[\begin{array}{c}1\\ 1\end{array}\right]+(-3)=x^{(1)}+x^{(2)}-3$$
  此时，对所有数据点$y_i(w_y\cdot x_i+b)>0$，即没有误分类点，损失函数达到极小。
  分离超平面为：$$x^{(1)}+x^{(2)}-3=0$$
  感知机模型为：$$f(x)=sign(x^{(1)}+x^{(2)}-3)$$

• 求解的迭代过程

迭代次数	误分类点取值顺序	$w$	$b$	$w\cdot x+b$
0		0	0	0
1	$x_1$	$(3,3{)}^T$	1	$3x^{(1)}+3x^{(2)}+1$
2	$x_3$	$(2,2{)}^T$	1	$2x^{(1)}+x^{(2)}$
3	$x_3$	$(1,1{)}^T$	1	$x^{(1)}+x^{(2)}-1$
4	$x_3$	$(0,0{)}^T$	1	$-2$
5	$x_1$	$(3,3{)}^T$	1	$3x^{(1)}+3x^{(2)}-1$
6	$x_3$	$(2,2{)}^T$	1	$2x^{(1)}+x^{(2)}-2$
7	$x_3$	$(1,1{)}^T$	1	$x^{(1)}+x^{(2)}-3$
8	$0$	$(1,1{)}^T$	1	$x^{(1)}+x^{(2)}-3$

• 注：上述是在计算中误分类点先后取$x_1,x_3,x_3,x_3,,x_1,x_3,x_3$得到的分离超平面和感知机；如果在计算中误分类点先后取$x_1,x_3,x_3,x_3,,x_2,x_3,x_3,x_3,x_1,x_3,x_3$得到的分离超平面是$2x^{(1)}+x^{(2)}-5$

算法的代码实现

import numpy.matlib 
import numpy as np 

w = np.zeros((1,2))
print(w)
b = 0
print(b)
while True:
    for index in data:
        x=0
        y=0
        for in_data in index:
            print("++++++")
            x = in_data
            y = index[in_data]
        print(x)
        value = np.array(x).reshape(2,1)
        print(value)
        print(np.dot(w,value))
        f = y*(np.dot(w,value) + b)
        print(f)
        if f[0][0]<=0:
            w = w + y*np.array(x)
            b = b+y
            print(w,b)
            flg = 1
            break

    if flg == 1:
        flg = 0
        continue
    else:
        break
print("==========")
print(w)
print(b)

[[ 0.  0.]]
0
++++++
(3, 3)
[[3]
 [3]]
[[ 0.]]
[[ 0.]]
[[ 3.  3.]] 1
++++++
(3, 3)
[[3]
 [3]]
[[ 18.]]
[[ 19.]]
++++++
(4, 3)
[[4]
 [3]]
[[ 21.]]
[[ 22.]]
++++++
(1, 1)
[[1]
 [1]]
[[ 6.]]
[[-7.]]
[[ 2.  2.]] 0
++++++
(3, 3)
[[3]
 [3]]
[[ 12.]]
[[ 12.]]
++++++
(4, 3)
[[4]
 [3]]
[[ 14.]]
[[ 14.]]
++++++
(1, 1)
[[1]
 [1]]
[[ 4.]]
[[-4.]]
[[ 1.  1.]] -1
++++++
(3, 3)
[[3]
 [3]]
[[ 6.]]
[[ 5.]]
++++++
(4, 3)
[[4]
 [3]]
[[ 7.]]
[[ 6.]]
++++++
(1, 1)
[[1]
 [1]]
[[ 2.]]
[[-1.]]
[[ 0.  0.]] -2
++++++
(3, 3)
[[3]
 [3]]
[[ 0.]]
[[-2.]]
[[ 3.  3.]] -1
++++++
(3, 3)
[[3]
 [3]]
[[ 18.]]
[[ 17.]]
++++++
(4, 3)
[[4]
 [3]]
[[ 21.]]
[[ 20.]]
++++++
(1, 1)
[[1]
 [1]]
[[ 6.]]
[[-5.]]
[[ 2.  2.]] -2
++++++
(3, 3)
[[3]
 [3]]
[[ 12.]]
[[ 10.]]
++++++
(4, 3)
[[4]
 [3]]
[[ 14.]]
[[ 12.]]
++++++
(1, 1)
[[1]
 [1]]
[[ 4.]]
[[-2.]]
[[ 1.  1.]] -3
++++++
(3, 3)
[[3]
 [3]]
[[ 6.]]
[[ 3.]]
++++++
(4, 3)
[[4]
 [3]]
[[ 7.]]
[[ 4.]]
++++++
(1, 1)
[[1]
 [1]]
[[ 2.]]
[[ 1.]]
==========
[[ 1.  1.]]
-3