架构搜索文献笔记（3）：《NSGANetV2：进化的多目标替代辅助的神经体系结构搜索》

最新推荐文章于 2024-08-18 10:30:05 发布

原创

最新推荐文章于 2024-08-18 10:30:05 发布 · 1k 阅读

CC 4.0 BY-SA版权

文章标签：

介绍MSUNAS，一种高效的神经架构搜索算法，可在多个竞争目标下快速设计任务特定模型。该方法利用代理模型提高搜索效率，并通过超网优化权重学习。在多个数据集上验证了其有效性和通用性。

论文《NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search》-2020-ECCV**
论文链接
代码链接https://github.com/mikelzc1990/nsganetv2

一、摘要及主要贡献

摘要：在本文中，提出了一种有效的NAS算法来生成在多个竞争目标下具有竞争竞争力的任务特定模型。

它由两个代理组成：
一个在架构层面，以提高采样效率，
另一个在权值层面，通过超网，以提高梯度下降训练效率。

在标准基准数据集(C10、C100、图像网络)上，相等或超过现有方法的模型，并且搜索的样本效率高几个数量级。

此外，还在六个不同的非标准数据集（STL-10,Flowers102, Oxford Pets, FGVC Aircrafts等）上证明了所提方法的有效性和通用性。
在这里插入图片描述

MSuNAS搜索卷积神经网络的四个重要维度，包括深度（层数)、宽度(通道）、卷积核大小和输入特征图尺寸。

论文将CNN架构分解为五个顺序连接的块，逐渐减小特征映射的大小，信道的数量增加。

在每个块中，论文搜索层数，其中如果特征图大小减小，只有第一层使用步幅2，并且论文允许每个块最小有两