李航统计学习之感知机及Python实现

最新推荐文章于 2022-04-03 17:59:13 发布

原创最新推荐文章于 2022-04-03 17:59:13 发布 · 786 阅读

2 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

5 篇文章

订阅专栏

本文深入探讨了感知机算法的基本原理及其在Python中的实现过程。作为机器学习领域中较为简单的线性二分类方法，感知机算法能够通过修正超平面来区分正负两类标签的数据。文章详细介绍了感知机算法的数学模型，包括线性分离超平面的定义、符号函数的使用以及损失函数的极小化问题。此外，还提供了一个具体的Python代码示例，展示了如何使用感知机算法对给定数据集进行训练，并绘制出分类边界。

前言

最近开始学习李航的《统计学习方法》，作为模式识别学科的学生，感觉有必要把一些经典的machine learning method 用python实现一边，有利于加强对机器学习算法的理解。

感知机算法（Perceptron）

感知机算法是机器学习算法里面较为简单的线性二分类方法，此处的线性二分类指的是将输入的带有正负两类标签的数据用线性分离超平面进行划分。一般的线性分离超平面可以表示为：

$w \cdot x + b$

感知机模型

假设输入空间(特征空间)是x∈Rn，输出空间是y={+1,-1}。输入是实例的特征向量，对应于输入空间的点；输出是实例的类别。输入空间到输出空间的如下函数：
$f (x) = s i g n (w \cdot x + b)$
称为感知机。sign是符号函数，即
$\begin{array}{l}\mathrm{si}gn(x)=\left\{\begin{array}{l}\begin{array}{cc}+1&x\geq0\end{array}\\\begin{array}{cc}-1&x<0\end{array}\end{array}\right.\\\end{array}$
针对给定的数据集，我们可以使损失函数极小化问题定义为：
$\underset{w,b}{min}L\left(w,b\right)=-\sum_{x_i\in M}y_i\left(w\cdot x_i+b\right)$
感知机算法是由误分类驱动的，任意选取一个超平面，在对超平面进行修正过程中，不是一次利用所有的误分类的点，而是一次随机将一个误分类点对超平面进行修正。
$\nabla w\;L\left(w,b\right)=-\sum_{x_i\in M}y_ix_i$
$\nabla b\;L\left(w,b\right)=-\sum_{x_i\in M}y_i$
通过上面公式，每次随机抽取一个误分类点对 $w$ , $b$ 修正：
$w\leftarrow w+\eta y_ix_i$
$\mathrm b\leftarrow\mathrm b+\eta y_i$

import numpy as np

import matplotlib.pyplot as plt

input_data = np.array([[3, 3], [4, 3], [1,1]])

input_label = np.array([1, 1, -1])

def activate_fucntion(x):

    if x > 0:

        return 1

    else:

        return -1

class Perceptron():

    def __init__(self):

        self.weight = [2, 2]

        self.baised = 2

        self.delta = 1

    def train_function(self):

        for i in range(100):

            count = -1

            for j in range(len(input_data)):

                if input_label[j] != activate_fucntion(np.dot(self.weight, input_data[j]) + self.baised) :

                    count = j

                    break

            if count == -1:

                break

            self.weight += self.delta * input_label[j] * input_data[j]

            self.baised += self.delta * input_label[j]

        return self.weight, self.baised

    def plt_graphy(self):

        plt.figure()

        plt.xlabel("x axis")

        plt.ylabel("y axis")

        x_line = [0, 10]

        y_line = [0, 0]

        for i in range(len(x_line)):

            y_line[i] = -(x_line[i] * self.weight[0] + self.baised) / self.weight[1]

        plt.plot(x_line, y_line)

        for index in range(len(input_data)):

            if input_label[index] == 1:

                plt.plot(input_data[index][0], input_data[index][1], 'bo')

            else:

                plt.plot(input_data[index][0], input_data[index][1], 'ro')

        print(self.weight[0])

        print(self.weight[1])

        plt.show()

if __name__ == '__main__':

    p = Perceptron()

    p.train_function()

    p.plt_graphy()