这篇博客介绍了反卷积的两种主要理解方式：Backward Deconvnet和Transposed Convolution。Backward Deconvnet通过修改反向传播中激活函数的梯度求导方式来实现，而Transposed Convolution则涉及补零、转置和正向卷积的过程。文章引用了多个来源，包括论文、知乎文章和Jupyter notebook，提供了深入的理论解释和代码实现。
可视化CNN网络看到反卷积，很是困惑，发现其实Deconvolution有两种说法：
1. Backward Deconvnet
2. Transposed Convolution
一：Backward Deconvnet
论文参考：STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET
如下图(c) backward 'deconvnet' 所示，本质上是修改了反向传播中激活函数的梯度求导方式。
正常的反向传播中，输入特征大于0的值对应的梯度可以被反向传递回去。
反卷积的反向传播中，计算得到的梯度值大于0的可以被反向传递回去。
导向反向传播中，上述两个条件都要满足，也就是输入特征大于0的值对应的大于0的梯度可以被反向传递回去。
代码可以参考：https://nbviewer.jupyter.org/github/1202kbs/Understanding-NN/blob/master/3.1%20Deconvolution.ipynb。
可以看到_DeconvReluGrad被重新定义了:
@ops.RegisterGradient("DeconvRelu")
def _Dec
最低0.47元/天 解锁文章
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
