cs231n assignment1 two_layer_net 反向传播 详解

L = 1 N ∑ i = 1 N − l o g ( e S y i ∑ j e S j ) + λ R ( W 1 ) + λ R ( W 2 ) S = W 2 m a x ( 0 , W 1 x + b 1 ) + b 2 L=\frac{1}{N}\sum_{i=1}^{N}-log(\frac{e^{S_{y_i}}}{\sum_{j}e^{S_j}})+λR(W1)+λR(W2)\\S=W_2max(0,W_1x+b1)+b2 L=N1i=1Nlog(jeSjeSyi)+λR(W1)+λR(W2)S=W2max(0,W1x+b1)+b2

注意: d L d W ≠ d L d S y i ∗ d S y i d W + d L d S j ∗ d S j d W \bold{注意:}\frac{dL}{dW}≠\frac{dL}{dS_{y_i}}*\frac{dS_{y_i}}{dW}+\frac{dL}{dS_j}*\frac{dS_j}{dW} 注意:dWdL=dSyidLdWdSyi+dSjdLdWdSj,因为 S y i S_{y_i} Sy

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值