DNN的反向传播过程的推导

legend_hua

于 2018-08-11 12:27:17 发布

阅读量5k

点赞数 9

分类专栏：人工智能机器学习文章标签：反向传播 DNN CNN

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/legend_hua/article/details/81584880

版权

DNN网络（全连接的网络）

在进行DNN反向传播算法前，我们需要选择一个损失函数，来度量训练样本计算出的输出和真实的训练样本输出之间的损失。输出计算公式：随机选择一系列W,b，用前向传播算法计算出来的。即通过一系列的计算： $a^{l}=\sigma(z^{l})=\sigma(w^{l}a^{l-1}+b^{l})$ 。计算得出最后的输出层L对应的 $a^{L}$ 便是前向输出的结果。

损失函数的选择有很多，比如均方差、交叉熵。我们以交叉熵为例，介绍DNN的反向传播算法，计算公式如下：

$J(W,b,x,y)=-(ylog\hat{y}+(1-y)log(l-\hat{y}))$ ，其中y为真实的标签（即网络最后一层的输出）， $\hat{y}$ 为网络预测的标签。

我们反向传播的过程就是求出合适的W、b，使上面的公式最小化。

我们开始用梯度下降法求解每一层的W、b的变化。

首先的输出层L，输出层的计算公式

$a^{L}=\sigma(z^{L})=\sigma(W^{L}*a^{L-1}+b^{L})$

对于输出层的参数，我们可以计算根据上面交叉熵公式计算损失函数：

$J(W,b,x,y)=-(ylog\hat{y}+(1-y)log(l-\hat{y}))=(yloga^{L}+(1-y)log(l-a^{L}))$ ，其中a^L将上面的公式带入

现在求解W，b的梯度：

最低0.47元/天解锁文章

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。