机器学习基石 homework1 PLA pocket算法 python实现

在做homework1 最后几道关于PLA pocket算法时，看到很多的博客，感觉代码写的好复杂（有些也给我好大的启发），但不就是完成一个选择题，实现一下思想嘛。所以想粘一下下小白写的。

import random
import numpy as np
import pandas as pd

#处理数据，添加x0这一列
f = pd.read_csv("train.txt",sep='\s+',header=None)
ft = pd.read_csv('test.txt',sep='\s+',header=None)
data = f.iloc[:,:-1]
app = pd.Series(np.ones((data.shape[0])))
data_train = pd.concat([app,data],axis=1)
label_train = f.iloc[:,-1]
data_test = pd.concat([pd.Series(np.ones((ft.shape[0]))),ft.iloc[:,:-1]],axis=1)
label_test = ft.iloc[:,-1]

#函数说明：计算分错误的点的个数
def counterror(data,label,w):
    score = np.dot(data,w.T)
    score[score<=0]=-1
    score[score>0]=1
    error = len(score[(score!=label)])
    return error
    
#函数说明：pocket分类
def classif(data_train,label_train,data_test,label_test):
    iteration = 2000	#总的迭代次数
    acc = []			#保存在测试集中的错误率
    for i in range(iteration):
        wnew = np.zeros((data_train.shape[1]))
        w = np.zeros((data_train.shape[1]))
        minerror = counterror(data_train,label_train,w)

        update = 50
        up = 0
        while up < update:
            up+=1
            score = np.dot(data_train,wnew.T)
            score[score<=0]=-1
            score[score>0]=1
            k = random.choice(label_train[score != label_train].index)
            wnew = wnew + label_train[k]*data_train.iloc[k,:]
            if counterror(data_train,label_train,wnew) < minerror:
                minerror = counterror(data_train,label_train,wnew)
                w = wnew	#更换口袋中的w
        acc.append(counterror(data_test,label_test,w)/data_test.shape[0])
    return acc

acc = classif(data_train,label_train,data_test,label_test)
np.array(acc).mean()

最后的结果是0.133641（还算了蛮久的）

对pocket算法的理解

pocket相对于PLA来说，多了一个口袋包。
在实现时，依旧是按照PLA进行“知错能改”，不断更新wnew。
但是因为数据集不是线性可分的，所以PLA每次迭代出来的wnew不一定错误率在每次降低。所以我们在PLA的基础上，加了一个口袋，用来存放错误率最低的wnew。
如何保证pocket中的w是错误率最低的呢，就是每次迭代出的w和wnew进行比较，如果wnew更好，则更换口袋中的w