深度学习-链式求导

链式法则是微积分中的求导法则,用于求一个复合函数的导数
假设 a,b,c,d,ea,b,c,d,eabcde 存在下面的关系:

a+b=cb+1=dc×d=e a+b=c \\ b+1=d \\ c\times d=e a+b=cb+1=dc×d=e

假设
a=2,b=1a=2,b=1a=2b=1

那么
c=a+b=3d=b+1=2c=a+b=3\\d=b+1=2c=a+b=3d=b+1=2

逐级求导:
∂c∂a=1,∂c∂b=1 \frac{\partial c}{\partial a}=1, \frac{\partial c}{\partial b}=1 ac=1bc=1

∂d∂b=1 \frac{\partial d}{\partial b}=1 bd=1

∂e∂c=d=2,∂e∂d=c=3 \frac{\partial e}{\partial c}=d=2, \frac{\partial e}{\partial d}=c=3 ce=d=2de=c=3

图示如下:

链式求导:
∂e∂a=∂e∂c∂c∂a=2×1=2 \frac{\partial e}{\partial a}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial a}=2 \times 1=2 ae=ceac=2×1=2

∂e∂b=∂e∂c∂c∂b+∂e∂d∂d∂b=2×1+3×1=5 \frac{\partial e}{\partial b}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial b}+\frac{\partial e}{\partial d}\frac{\partial d}{\partial b}=2\times1+3\times1=5 be=cebc+debd=2×1+3×1=5

验证:
e=c×d=(a+b)×(b+1)=ab+b2+a+b \begin{aligned}e &=c\times d \\ &=(a+b)\times(b+1) \\ &=ab+b^2+a+b \end{aligned} e=c×d=(a+b)×(b+1)=ab+b2+a+b

∂e∂a=b+1=1+1=2 \frac{\partial e}{\partial a}=b+1=1+1=2 ae=b+1=1+1=2

∂e∂b=a+2b+1=2+2×1+1=5 \frac{\partial e}{\partial b}=a+2b+1=2+2\times 1+1=5 be=a+2b+1=2+2×1+1=5

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值