【助记Note】反向传播求导公式

本文详细解析了深度学习中反向传播算法的核心数学原理,包括权重和偏置的梯度计算,以及如何通过链式法则更新网络参数。特别强调了激活函数的导数在计算过程中的关键作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

已知:
Zb×m[l]=Wb×a[l]⋅Aa×m[l−1]+v⃗b×1Ab×m[l]=g(Z[l]) Z_{b\times m}^{[l]} = W_{b\times a}^{[l]} \cdot A_{a\times m}^{[l-1]} + \vec{v}_{b \times 1}\\ A_{b\times m}^{[l]} = g(Z^{[l]}) Zb×m[l]=Wb×a[l]Aa×m[l1]+vb×1Ab×m[l]=g(Z[l])

g(.)​g(.)​g(.) 是 activation function, dWdWdW 表示 dJdW\frac{dJ}{dW}dWdJ,其他的类似。

已知dA[l]​dA^{[l]}​dA[l],则:

dZb×m[l]=dA[l]∗g′(Z[l])dWb×a[l]=∂L∂W[l]=1mdZ[l]A[l−1]Tdbb×1[l]=∂L∂b[l]=1m∑i=1mdZ[l](i)(横向求和)dAa×m[l−1]=∂L∂A[l−1]=W[l]TdZ[l] dZ^{[l]}_{b\times m} = dA^{[l]} * g'(Z^{[l]})\\ dW^{[l]}_{b\times a} = \frac{\partial \mathcal{L} }{\partial W^{[l]}} = \frac{1}{m} dZ^{[l]} A^{[l-1] T}\\ db^{[l]}_{b\times 1} = \frac{\partial \mathcal{L} }{\partial b^{[l]}} = \frac{1}{m} \sum_{i = 1}^{m} dZ^{[l](i)} (\text{横向求和})\\ dA^{[l-1]}_{a\times m} = \frac{\partial \mathcal{L} }{\partial A^{[l-1]}} = W^{[l] T} dZ^{[l]} dZb×m[l]=dA[l]g(Z[l])dWb×a[l]=W[l]L=m1dZ[l]A[l1]Tdbb×1[l]=b[l]L=m1i=1mdZ[l](i)(横向求和)dAa×m[l1]=A[l1]L=W[l]TdZ[l]

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值