batch_norm_grad

在这里插入图片描述

batch_norm_training(如上图)的反向 其作用就是两个:
一:求loss关于 γ和β的梯度
二:求loss关于 xi的梯度(此层的输入是上层的输出 用于链式与上一层求导对接)

一:求loss关于 γ和β的梯度 利用在这里插入图片描述
先对yi求导 再用yi对γ和β求导
二:求loss关于 xi的梯度 利用在这里插入图片描述
先对yi求导 再对yi对xi求导
要yi对xi求导 需要带入在这里插入图片描述
中的能用xi表示的参数 其中在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

把上面三个式子依次带入 或者说想对xi求导 那么就需要下面三个方面求导:
^xi对xi求导
^xi对 σ求导 σ对xi和μ求导 μ对xi求导
^xi对 μ求导 μ对xi求导

最后所有的求导为:
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值