李航统计学习之感知机及Python实现

前言

最近开始学习李航的《统计学习方法》，作为模式识别学科的学生，感觉有必要把一些经典的machine learning method 用python实现一边，有利于加强对机器学习算法的理解。

感知机算法（Perceptron）

感知机算法是机器学习算法里面较为简单的线性二分类方法，此处的线性二分类指的是将输入的带有正负两类标签的数据用线性分离超平面进行划分。一般的线性分离超平面可以表示为：

$$w\cdot x+b$$

假设输入空间(特征空间)是x∈Rn，输出空间是y={+1,-1}。输入是实例的特征向量，对应于输入空间的点；输出是实例的类别。输入空间到输出空间的如下函数：
$$f(x)=sign(w\cdot x+b)$$
称为感知机。sign是符号函数，即
$$\begin{array}{l}\mathrm{s}\mathrm{i}gn(x)=\{\begin{array}{l}\begin{array}{cc}+1& x\ge 0\end{array}\\ \begin{array}{cc}-1& x<0\end{array}\end{array}\end{array}$$
针对给定的数据集，我们可以使损失函数极小化问题定义为：
$$\underset{w,b}{\min }L\left(w,b\right)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
感知机算法是由误分类驱动的，任意选取一个超平面，在对超平面进行修正过程中，不是一次利用所有的误分类的点，而是一次随机将一个误分类点对超平面进行修正。
$$\nabla wL\left(w,b\right)=-\sum _{x_i\in M}{y}_i{x}_i$$
$$\nabla bL\left(w,b\right)=-\sum _{x_i\in M}{y}_i$$
通过上面公式，每次随机抽取一个误分类点对$w$,$b$修正：
$$w\leftarrow w+\eta y_i{x}_i$$
$$\mathrm{b}\leftarrow \mathrm{b}+\eta y_i$$

import numpy as np

import matplotlib.pyplot as plt

input_data = np.array([[3, 3], [4, 3], [1,1]])

input_label = np.array([1, 1, -1])

def activate_fucntion(x):

    if x > 0:

        return 1

    else:

        return -1

class Perceptron():

    def __init__(self):

        self.weight = [2, 2]

        self.baised = 2

        self.delta = 1

    def train_function(self):

        for i in range(100):

            count = -1

            for j in range(len(input_data)):

                if input_label[j] != activate_fucntion(np.dot(self.weight, input_data[j]) + self.baised) :

                    count = j

                    break

            if count == -1:

                break

            self.weight += self.delta * input_label[j] * input_data[j]

            self.baised += self.delta * input_label[j]

        return self.weight, self.baised

    def plt_graphy(self):

        plt.figure()

        plt.xlabel("x axis")

        plt.ylabel("y axis")

        x_line = [0, 10]

        y_line = [0, 0]

        for i in range(len(x_line)):

            y_line[i] = -(x_line[i] * self.weight[0] + self.baised) / self.weight[1]

        plt.plot(x_line, y_line)

        for index in range(len(input_data)):

            if input_label[index] == 1:

                plt.plot(input_data[index][0], input_data[index][1], 'bo')

            else:

                plt.plot(input_data[index][0], input_data[index][1], 'ro')

        print(self.weight[0])

        print(self.weight[1])

        plt.show()

if __name__ == '__main__':

    p = Perceptron()

    p.train_function()

    p.plt_graphy()