lhy机器学习(四): ML Lecture 7_ Backpropagation(反向传播)

本文深入探讨了神经网络中反向传播算法的核心概念,解释了如何通过链式法则解决大量参数的梯度计算问题,旨在帮助读者理解深度学习中梯度下降的高效实现。

反向传播

 

当神经网络层数很多,每一层又有很多神经元时,参数就异常的多,我们为了实现梯度下降,就要求L(参数1,参数2...)对所有参数的微分,,假如有一百万个参数,每次梯度下降就要求100万次微分,这个计算量可想而知

反向传播就是为了解决在求损失函数对参数的微分计算量太大的问题,基于链式法则,我们先回顾一下链式法则

下面就是反向传播的计算过程

 

 

上面的dC/dz,看过Ng的课应该知道,这就是Ng定义的δ

(#^.^#)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值