卷积神经网络-全面图解-带你了解前向后向传播的所有细节(文末代码)

卷积神经网络-全面图解-带你了解前向后向传播的所有细节

综述

本文将会从基础的前馈神经网络入手，通过bp神经网络，引出卷积神经网络，并把专门的重点放在如何理解和实现卷积神经网络的卷积层、下采样层、全连接层、以及最终的softmax的反向传播的理解。最后实现基于python的车标识别6分类网络

（代码:实现了 卷积、全连接、下采样等等前向、反向传播，将6类车标作为输入进行模型训练，不过是CPU版本的https://github.com/LonglongaaaGo/CNN_python 纯python实现的6分类网络，有问题可以联系我~
欢迎star 欢迎互粉

 

 

 

 

推导分析：

矩阵分析链接：https://blog.youkuaiyun.com/Willen_/article/details/87912967

首先：对X 求导时，对应的Z 表示的是 以向量X 为自变量，以Z 向量为应变量的函数关系有  Z =  f(X) ,所以可以直接带入矩阵求导公式（5.1.20)得出结果。

其次，对W求导时，对应的Z表示的是以 矩阵W 为自变量，以Z向量为因变量的函数关系，有 Z = f(W),但是没有直接的公式可以用（链接公式 5.1.26），只有正对输出为标量，输入为向量的实质求导公式，所以在这里做一下拆分就可以推出结果。

其中l代表第l层

j表示第j个卷积核

Mj 表示对应的通道数量

i 表示第i个通道

ps： 这里A的上标应该是l  不是i 打错了

 

这里应该还有一个求和在最左边，因为这里有k个卷积核，都要相应的计算进去

这里需要解释一下，

其中， 是上层卷积层输出 经过下采样之后的输出结果。

在CNN反向传播时，对于 [8]，将其还原到池化层之前的大小。同时本实验是基于Max下采样，将 中的值移动到前向传播时池化操作之每一个子矩阵原先最大的位置。其中upsample（ ）表示一个上采样操作，若下采样因子为 m, 则通过上采样，将第l-1层的每个像素在水平和垂直方向上扩充m个像素, 于是就可以对应的计算从 l-1层的灵敏度上采样成卷积层 l 的灵敏度大小。 

这个灵敏度也可以理解为梯度，也就是说对于 l-1 层的梯度的计算，只要把l层的梯度进行上采样，还原原来的形状大小就可以了。

 

这里的激活层的反向传播都是很好计算的，求导求一下就好了，并且是维度是不变的，所以很好理解

 

 

 

 

代码:实现了 卷积、全连接、下采样等等前向、反向传播，将6类车标作为输入进行模型训练，不过是CPU版本的https://github.com/LonglongaaaGo/CNN_python 纯python实现的6分类网络，有问题可以联系我~
欢迎star 欢迎互粉