台大李宏毅-- 反向传播算法 Backpropagation

本文详细介绍了反向传播算法的工作原理及其实例计算过程。首先通过前向传播得到输出值,然后利用链式法则计算损失函数关于各层权重的梯度,最后通过这些梯度更新权重,实现神经网络训练。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 链式法则

这里写图片描述

2. 反向传播算法 实例

这里写图片描述
这里写图片描述

计算前向传播:

这里写图片描述
比如:
这里写图片描述
你会发现,输入值就是前向传播中,要求求解的导数的值。
这里写图片描述

计算后向传播:

这里写图片描述

这里假设,一个样本造成的损失loss是:这里写图片描述
(每个样本有两个输入x1,x2)

综上所述:
这里写图片描述

由上图可得,在反向传输中,在计算过程中,是先算出最末尾的 Cy1,Cy2∂C∂y1,∂C∂y2,再算出倒数第二个的偏导 CzCz∂C∂z‘,∂C∂z‘‘ , 再才算到 最前面的 Cz∂C∂z。这就是反向传播。

过程就是:

这里写图片描述
1. 计算Cy1,Cy2∂C∂y1,∂C∂y2
2. 计算CzCz∂C∂z‘,∂C∂z‘‘
3. 最终计算 Cz∂C∂z
这里写图片描述

如果是更多层的神经网络

如果是更多层的神经网络,那么为了计算方向传输的Cz∂C∂z,就应该像上面那样,从最末尾的地方(输出神经元)开始算起,一步一步计算,一步一步向左边推进,直到计算到最左边的第一层神经元,就计算到了Cz∂C∂z
这里写图片描述

3. 总结

这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值