神经网络中卷积层前向传播forward和反向传播backward计算梯度python实现

坎幽黑尔弥？

于 2019-06-04 11:08:00 发布

阅读量3.5k

点赞数 2

分类专栏：深度学习文章标签： cnn deeplearning convolution pytorch

本文链接：https://blog.youkuaiyun.com/qq_38469553/article/details/90764965

版权

本文详细介绍了神经网络中卷积层的前向传播和反向传播过程，通过理论推导和Python代码实现，特别是探讨了在反向传播中如何计算梯度，以及如何利用这些梯度更新权重和偏置。提供了PyTorch环境下手动初始化的卷积层进行对比验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.理论推导

参考博客如下，写得很好。

https://www.cnblogs.com/pinard/p/6422831.html

https://www.cnblogs.com/pinard/p/6494810.html

关键点就在于，反向传播的过程中，得到了top的梯度后，如何反向来传。个人的理解是首先得求出top一层的误差在bottom一层关于变量的梯度DX，然后再求出bottom层的dW和dbias，即：

根据第L层的DX求出第L-1层的DX，bp的时候一直回传的是某一层的DX。而bp过程中需要更新的是W和b的值，因此在每一层中，例如根据第L层的DX分别计算在第L-1层的dW和dbias，然后用此层的两个参数的梯度更新这两个参数。而如何求取这几个梯度，上述博文和下面的python代码中都有提到，这几个计算都可以写成是卷积的操作，从而方便实现。

2.python代码

import numpy as np
import torch
import torch.nn as nn
from torch.autograd import Variable

x=np.array([[1,2,3],[4,5,6],[7,8,9],[10,11,12]])
kernel1=np.array([[3,2,1],[1,4,2],[0,1,0]])
kernel2=np.array([[1,0,2],[0,2,1],[0,3,2]])
bias1=3
b