论文阅读笔记(五)——FD-MOBILENET

论文阅读笔记(五)——FD-MOBILENET

前言

刚看完一篇，昨晚晚上八点多睡了，半夜两三起来肝论文,hhhh

1 论文简介

1.1 关于文章

论文名称:FD-MOBILENET: IMPROVED MOBILENET WITH A FAST DOWNSAMPLING STRATEGY

链接:原文链接
百度网盘:原文链接
提取码：no6p

1.2 关于模型

又是一个mobilenet的变体~

2 文章正文

2.1 摘要

我们提出了快速下采样MobileNet（FD-MobileNet），这是一种高效且准确的网络，适用于非常有限的计算预算（例如10-140 MFLOP）。 我们的主要思想是将快速下采样策略应用于MobileNet框架。 在FD-MobileNet中，我们在12层内执行32倍下采样，仅为原始MobileNet的一半。 该设计带来三个优点：（i）显着降低了计算成本。 （ii）它增加了信息容量并实现了显着的性能改进。 （iii）它是工程友好的，并且提供了快速的实际推断速度。 在ILSVRC 2012和PASCAL VOC 2007数据集上进行的实验表明，在不同的计算预算下，FD-MobileNet始终优于MobileNet并与ShuffleNet取得可比的结果，例如，在ILSVRC 2012 top-1准确性上，MobileNet分别超过5.5％，在VOC上超过3.6％。 在12个MFLOP的复杂性下的2007年mAP。 在基于ARM的设备上，在相同的复杂度下，FD-MobileNet在MobileNet上的推理速度提高了1.11倍，在ShuffleNet上实现了1.82倍的推理速度。

2.2 Motivation&Contributions

PS: 这一段主要是方便我们以后写Introduction与Related Work

2.2.1 Motivation

随着深度学习技术的发展，CNN 在 i图像分类 / 语义分割 / 目标检测 等视觉任务中已大显身手，然而 CNN 模型往往需要巨大的计算资源和巨大的模型尺寸，这严重限制了其在移动或嵌入式上的应用因此，CNN 的压缩与加速吸引着深度学习社区的关注
作者从加速的角度出发， 提出 a Fast Down-sampling Strategy（30X down-sampling within the first 12 layers），避免 shrinking channels 的压缩方式带来精度的过度损失，同时达到压缩模型的作用
现有压缩与加速方法可以大致分为如下 4 类

• Tensor decomposition methods（low rank）Tensor分解方法
  • 卷积层分解为几个较小的卷积层，从而降低了整体复杂度和参数数量。 此类方法通常涉及低秩估计过程和微调过程，从而导致训练过程缓慢
• Parameter quantization methods 参数量化方法
  • 利用低精度参数，并提供显着的理论加速和巨大的内存节省。 但是,当前的硬件尚未针对低精度计算进行最佳优化，因此量化方法需要特定的硬件才能实现理想的加速
• Network pruning 网络修剪方法
  • 早期的修剪方法采用非结构化修剪方案，并且会导致随机内存访问，而当前硬件对此却没有很好的支持。 关于网络修剪的最新研究主要集中在结构化修剪上，以利用现有硬件
• Compact networks 轻量化网络
  • ShuffleNet（虽然降低了参数量，实际在移动端跑起来会很慢）
  • MobileNet（相比 shuffleNet，在移动端更快，但是由于 slow down sampling strategy 策略,当 当计算预算相对较小较小时，会导致严重的性能下降）
  • squeezeNet(老年人)

2.2.2 Contributions

在本文中，文章提出了一种名为Fast-Downsampling MobileNet（FD-MobileNet）的高效&