MLP多层感知器+BP算法原理及实战

本文介绍了多层感知器(MLP)的概念,解释了其如何通过非线性激活函数解决单层感知器无法解决的异或问题。通过实例展示了如何用Python实现MLP,并利用反向传播算法进行训练。最终,通过绘制误差曲线展示模型在迭代过程中的学习情况。

多层感知器是在感知器的基础上多元化,原来只是用一个感知器,但是单个感知器因为是单输出,所以只能进行二分类的操作,他并不能进行类似异或问题的求解,再次基础上前辈们提出了多层感知器。
在这里插入图片描述
如上图所示,{a11,a12,a13}所代表的是第一层的神经元,{a21,a22}所代表的是第二层的神经元,图中的w代表的是权重。
与单层感知器不同的是这里在前层神经元权重求和后,还有进行一次非线性激活函数激活,最后得到的就是该神经元的值。
在这里插入图片描述
如上所示,其中f就是其中的激活函数,激活函数有类似sigmoid函数、tanh函数以及ReLU函数和它的改进Leaky ReLu函数。
MLP多层感知器算法的前馈部分就是这一步,以次遍历到最后的输出。
在这里插入图片描述
到此为止为前馈操作,接下来是反馈操作,前馈和反馈之间还存在一个损失函数。
在这里插入图片描述
此处损失函数代表的是目标值和结果值之间的差距多大。所以反馈操作的目的就是减小该损失函数的结果值。
根据刚才的神经网络图,进行改进。
根据链式求导法则
在这里插入图片描述
在这里我们把激活函数定义为sigmoid函数。
在这里插入图片描述
在这里可以看出,sigmoid函数f(z)的导数是f(z)*(1-f(z))
在这里插入图片描述
这就可以得出从输出层到隐藏层的导数,
在这里插入图片描述
从隐藏层到输入层:
(连式求导)
在这里插入图片描述
在这里插入图片描述
同理可得出别的导数。
然后用所求出的导数去更新权重。
在这里插入图片描述
用MLP多层感知器算法求解异或问题。

import numpy as np
import matplotlib.pyplot as plt


rate=0.1 #学习率
sample_num=4 #样本数据量


class my_mlp:
    def __init__(self, input_size, hidden_size, output_size):
        self.w1 = np.random.normal(size=(hidden_size, input_size))#输入层到隐藏层
        self.w2 = np.random.normal(size=(hidden_size,output_size))#隐藏层到输出层
        self.b1 
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值