机器学习-周志华-课后习题答案5.5

最新推荐文章于 2023-08-02 01:40:56 发布

qilixuening

最新推荐文章于 2023-08-02 01:40:56 发布

阅读量4.9k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：自学练习文章标签：个人笔记机器学习 Python

本文链接：https://blog.youkuaiyun.com/qilixuening/article/details/62909612

本文通过编程实现标准BP和累计BP算法，对比在西瓜数据集3.0上的训练效果。结果表明，尽管标准BP算法在达到0.01误差时需要291轮，而累计BP需要1884轮，但标准BP的收敛速度更快。在分类精度上，两者均为2/17的错误率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

5.5 试编程实现标准BP算法和累计BP算法，在西瓜数据集3.0上分别用这两个算法训练一个单隐层网络，并进行比较。

通过编程实践发现，在本例下要达到某一限定的均方误差时，标准BP算法比累积BP算法明显收敛更快，特别在本例中，将ABP算法误差设定到0.01时，其更新权重次数十分庞大。

本人采用标准BP算法（隐层10个神经元）获取数据集在误差小于0.01时的各项权重算得其错误率为2/17，训练291轮，更新权重2910次；相应地，用ABP算法（隐层10个神经元）误差小于0.2时的权重系数算得其错误率为2/17，训练1884轮，更新权重1884次。由此可见，虽然ABP可能收敛更慢，但是其分类精度比同等条件下的BP算法要高。

下面附上代码：

# -*- coding: utf-8 -*-
# STANDARD BP-NN & ACCUMULATED BP-NN
import numpy as np

class Data(object):
    def __init__(self, data):
        self.data = np.array(data)
        self.rows = len(self.data[:,0])
        self.cols = len(self.data[0,:])  # it include the column of labels
        self.__eta = 0.1  # initial eta=0.1
        self.__in = self.cols - 1  # number of input neurons
        self.__out = len(np.unique(self.data[:,-1]))  # number of output neurons
    def set_eta(self, n):
        self.__eta = n
    def get_eta(self):
        return self.__eta
    def get_in(self):
        return self.__in
    def get_out(self):
        return self.__out
    def BP_NN(self,q=10,err=0.1):
        X = self.data[:,:-1]
        # 为X矩阵左边插入列-1来计算vx-gama,在后面对b操作应该同样加一列，来计算wb-theta
        X = np.insert