ZF-net 论文笔记

原文链接：

https://arxiv.org/pdf/1311.2901.pdf 

1. 网络结构

相比于Alexnet：

（1）第一个卷积层的大小从11*11改为了7*7，步长从4改为了2.

（2）将3、4、5层卷积核的数量由384、384、256调整为512、1024、512，

2. 特征可视化的过程

核心部分：反池化，反卷积，反激活

2.1 反池化：
池化是不可逆的过程，然而我们可以通过记录池化过程中，最大激活值得坐标位置。然后在反池化的时候，只把池化过程中最大激活值所在的位置坐标的值激活，其它的值置为0。实际操作中，会根据需要设置周围的值，未必都是0：

以上面的图片为例，上面的图片中左边表示pooling过程，右边表示unpooling过程。假设我pooling块的大小是3*3，采用max pooling后，我们可以得到一个输出神经元其激活值为9，pooling是一个下采样的过程，本来是3*3大小，经过pooling后，就变成了1*1大小的图片了。而upooling刚好与pooling过程相反，它是一个上采样的过程，是pooling的一个反向运算，当我们由一个神经元要扩展到3*3个神经元的时候，我们需要借助于pooling过程中，记录下最大值所在的位置坐标(0,1)，然后在unpooling过程的时候，就把(0,1)这个像素点的位置填上去，其它的神经元激活值全部为0。

反池化并没有真正意义上的完全还原，只是一种近似而已。

2.2 反激活：

我们在Alexnet中，relu函数是用于保证每层输出的激活值都是正数，因此对于反向过程，我们同样需要保证每层的特征图为正值，也就是说这个反激活过程和激活过程没有什么差别，都是直接采用relu函数。当然这也只是一种近似，只是保证了每一个经过激活函数的输出值始终为正值。

2.3 反卷积（严格来说是转置卷积）：

看这一篇：

抽丝剥茧，带你理解转置卷积（反卷积）_史丹利复合田的博客-优快云博客_转置卷积这里写自定义目录标题转置卷积普通卷积（直接卷积）转置卷积形象化的转置卷积欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FL...https://blog.youkuaiyun.com/tsyccnh/article/details/87357447

3. 贡献和结论

（1）特征可视化

使用反卷积、反池化、反激活函数去反可视化feature map ，通过feature map可以看出，特征分层次体系结构 ，以及我们可以知道前面的层学习的是物理轮廓、边缘、颜色、纹理等特征，后面的层学习的是和类别相关的抽象特征。这一个非常重要的结论，我们后面很多的微调手段都是基于此理论成果。再次强调这个结论：

结论一：CNN网络前面的层学习的是物理轮廓、边缘、颜色、纹理等特征，后面的层学习的是和类别相关的抽象特征

结论二：CNN学习到的特征具有平移和缩放不变性，但是，没有旋转不变性

（2）特征提取的通用性

作者通过实验说明了，将使用ImageNet2012数据集训练得到的CNN,在保持前面七层不变的情况，只在小数据集上面重新训练softmax层，通过这样的实验，说明了使用ImageNet2012数据集训练得到的CNN的特征提取功能就有通用性。

结论三：CNN网络的特征提取具有通用性，这是后面微调的理论支持

（3）对于遮挡的敏感性 

通过遮挡，找出了决定图像类别的关键部位当，在输入图片中遮挡了学习到的特征时，分类效果会很差。同时根据遮挡图像局部对分类结果的影响来探讨对分类任务而言哪部分输入信息更重要。

（4）特征的层次分析

作者通过实验证明了，不同深度的网络层学习到的特征对于分类的作用，说明了深度结构确实能够获得比浅层结构更好的效果。 通过实验，说明了深度增加时，网络可以学习到更具区分的特征。 底层特征在迭代次数比较少时就能收敛，高层需要的迭代次数比较多 越是高层的特征，其用来做分类的性能越好

参考博客（写的非常好 讲的很详细）：

https://blog.youkuaiyun.com/qq_27825451/article/details/88815490https://blog.youkuaiyun.com/qq_27825451/article/details/88815490