神经网络学习笔记（十）:多层感知机（中）--BP算法

斯年0808

于 2014-12-22 11:02:49 发布

阅读量4.1k

点赞数 1

分类专栏： Machine Learning 文章标签：机器学习神经网络 MLP BP算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/qq_18515405/article/details/42077453

版权

本文详细介绍了反向传播（BP算法）在多层感知机（MLP）中的实现，包括输出节点和隐藏节点的情况。通过对神经元的误差信号和局域梯度的计算，阐述了BP算法如何更新权重，以及前向和反向通过在网络计算中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

多层感知机监督训练在线学习的流行正是由于反向传播（BP算法）算法的提出而得到了加强，BP算法可以说是神经网络的核心算法。

如下图所示，神经元j被它左边的一层神经元产生的一组函数信号所馈给。因此神经元j的激活函数输入处所产生的诱导局部域 $v_{j}\left ( n \right )$ 是：

$v_{j}\left ( n \right )=\sum_{i=0}^{m}w_{ji}\left ( n \right )y_{i}\left ( n \right )$ （1.1）

神经元j输出处的函数信号 $y_{j}\left ( n \right )$ 是：

$y_{j}\left ( n \right )=\varphi _{j}\left ( v_{j}\left ( n \right ) \right )$ （1.2）

反向传播算法类似于LMS算法的方式对 $w_{ji}\left ( n \right )$ 应用一个修正值 $\bigtriangleup w_{ji}\left ( n \right )$ ，他正比于 $\partial \mathbb{E}\left ( n \right )/\partial w_{ji}\left ( n \right )$ ，其中 $\mathbb{E}\left ( n \right )$ 为代价函数

$\mathbb{E}\left ( n \right )=\frac{1}{2}\sum_{j\in C}e_{j}^{2}\left ( n \right )$ （1.3）

$\frac{\partial \mathbb{E}\left ( n \right )}{\partial w_{ji}\left ( n \right )}=\frac{\partial \mathbb{E}\left ( n \right )}{\partial e_{j}\left ( n \right )}\frac{\partial e_{j}\left ( n \right )}{\partial y_{j}\left ( n \right )}\frac{\partial y_{j}\left ( n \right )}{\partial v_{j}\left ( n \right )}\frac{\partial v_{j}\left ( n \right )}{\partial w_{ji}\left ( n \right )}$ （1.4）

偏导数

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。