深度学习4 -- 卷积神经网络 2

引言

• 第二部分主要介绍卷积神经网络的训练，该文为总结方便后续复习使用。

Pooling层输出值的计算

• Pooling层主要的作用是下采样，通过去掉Feature Map中不重要的样本，进一步减少参数数量。Pooling的方法很多，最常用的是Max Pooling。Max Pooling实际上就是在n * n的样本中取最大值，作为采样后的样本值。下图是2*2 max pooling：
  
• 除了Max Pooing之外，常用的还有Mean Pooling——取各样本的平均值，经过pooling层后深度是不变的

卷积神经网络的反向传播：

关于卷积层的训练

$$ne{t}^l=conv(W^l,a^{l-1}+w_b)\text{\hspace{1em}(1)}$$
$$a_{i,j}^{l-1}=f^{l-1}(ne{t}_{i,j}^{l-1})\text{\hspace{1em}(2)}$$

• 上式中，net,a都是数组，W是由Wij组成的数组，conv表示卷积操作。
• 在这里，我们假设第中的每个δ值都已经算好，我们要做的是用链式求导法则计算第层l-1层每个神经元的误差项。
  $${\delta }_{i,j}^{l-1}=\frac{\partial Ed}{\partial ne{t}_{i,j}^{l-1}}=\frac{\partial Ed}{\partial a_{i,j}^{l-1}}\ast \frac{\partial a_{i,j}^{l-1}}{\partial ne{t}_{i,j}^{l-1}}\text{\hspace{1em}(3)}$$
  
  
  
• 互相关的概念以及当步长为S的时候如何求解可以查看主要参考资料
  
  

卷积层filter权重梯度的计算

![](https://files.mdnice.com/user/27183/00c40201-ba8d-42f2-85c8-b0784172f36e.png

pooling层的训练

结尾

• 首先该文与参考原文相比还是有大量删减的部分，推荐理解时候可以直接看参考资料，还有就是公式太多，所以只能截图偷个懒儿，但是该文可以大体帮助理解如何进行反向传播
• 关于代码，个人搜集了很多手搓系列，相比较于MLP，CNN手搓代码复杂很多，个人看完后也没有更简介的方法，依然需要好几百行代码实现，所以参考资料中有包含手搓代码的文章，想要自己手搓的可以试试
• 个人后续会整理一份pytorch版本的代码（图片不清的可以看主要参考资料，微信链接方式打开可以看到图，用浏览器看容易吞图）

参考资料

• 1 主要参考资料
• 2 手搓代码部分
  1
  2
  3