Caffe 里 top[i]->cpu_diff() bottomp[i]->cpu_diff() 取出梯度，这些梯度在默认的情况下 caffe将其设置为0

最新推荐文章于 2019-07-05 16:56:42 发布

iamzhangzhuping

最新推荐文章于 2019-07-05 16:56:42 发布

阅读量4.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Deep Learning Caffe学习

本文链接：https://blog.youkuaiyun.com/iamzhangzhuping/article/details/52181281

Caffe学习同时被 2 个专栏收录

44 篇文章

订阅专栏

Deep Learning

39 篇文章

订阅专栏

本文探讨了Caffe框架中梯度传播的过程，详细解释了在没有反向传播时，网络参数如何受到weight decay的影响而发生变化。通过具体示例展示了不同节点的梯度状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Caffe 里 top[i]->cpu_diff() bottomp[i]->cpu_diff() 取出梯度，这些梯度在默认的情况下 caffe将其设置为0，只有在有梯度往前传播，top和bottom的梯度发生更新后，才会有所改变
this->type():Convolution
top[0]->cpu_diff()[0]:0.000000
top[0]->cpu_diff()[1]:0.000000
top[0]->cpu_diff()[10]:0.000000
top[0]->cpu_diff()[20]:0.000000
top[0]->cpu_diff()[50]:0.000000
top[0]->cpu_diff()[60]:0.000000
top[0]->cpu_diff()[35]:0.000000

this->type():Convolution
top[0]->cpu_diff()[0]:0.000000
top[0]->cpu_diff()[1]:0.000000
top[0]->cpu_diff()[10]:0.000000
top[0]->cpu_diff()[20]:-0.001144
top[0]->cpu_diff()[50]:-0.000111
top[0]->cpu_diff()[60]:0.000000
top[0]->cpu_diff()[35]:0.000379

但是即使没有BP，网络的learnable_params还是会发生变化的，因为在没有BP的情况下，learnable_params的梯度保持为默认值0,但是还有weight decay，它会导致learnable_params的变化。
(gdb) p this->blobs_[0]->cpu_data()[0]
$80 = -0.283210695

(gdb) p this->blobs_[0]->cpu_data()[0]
$86 = -0.274512082