FBNetV2是Facebook在CVPR2020上发表的NAS工作，旨在找到轻量级且高精度的网络。它通过DMaskingNAS在空间和通道维度上进行搜索，提出了一种新的通道搜索和空间搜索算法，同时解决了内存损耗和搜索空间扩大之间的平衡问题。实验证明，FBNetV2在精度、算力和参数量方面表现出色。
简介：
研究人员用NAS（Neural Architecture Search）搜索分类网络的目的之一就是，希望能够找到一个轻量级、高精度的“优质”网络。今天介绍的FBNetV2是Facebook在NAS领域的又一力作，已被CVPR2020收录。
论文地址
代码地址
前言：
对于NAS来说，搜索空间的设计对搜索结果会有直接的影响。理论上来说，搜索空间越大，越有可能搜索到性能最优的网络结构。与此同时，搜索空间越大，NAS对计算机的内存要求越高，搜索时间越长。那么，如何在扩大NAS搜索空间的同时，不增加NAS对计算机内存的要求，并且可以实现高效搜索呢？让FBNetV2来帮你解决这些问题。
文章概括：
在本文之前，已经有了一些经典的NAS，例如DARTS，ProxylessNAS等，但是它们都有各自的缺陷，比如：
- 内存损耗限制了搜索空间的大小
- 内存损耗与每层的操作数量线性相关（每一层的候选操作越多，内存损耗越大。eg：如果当前层的候选操作只有1个，那么当前层和前面网络层的组合方式只有1种；如果当前层的候选操作有5个，那么当前层和前面网络层的组合方式就会有5种，搜索时的内存损耗自然变大）
- ProxylessNAS使用二值化的训练方式可以有效的降低内存损耗，但是在大搜索空间中的收敛速度却很慢
本文提出的DMaskingNAS可以在几乎不增加内存损耗的同时，大幅度扩大搜索空间，并且在可以在大搜索空间中保持高速搜索。
主要贡献：
- 提出了一种兼顾内存和效率的NAS
- 提出了一种用于特征图复用的掩码机制和有效的shape propagation
- 搜索出的网络精度很高
DMaskingNAS的搜索空间：
如Table1所示：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
