EPE-NAS: Efficient Performance Estimation Without Training for Neural Architecture Search（论文精读）

《EPE-NAS: 高效性能评估无需训练的神经网络结构搜索》

Paper：https://arxiv.org/abs/2102.08099
代码: www.github.com/VascoLopes/EPENAS

摘要

神经网络结构搜索Neural Architecture Search (NAS) 在计算机视觉领域中模型结构设计方面展现出卓越的效果。NAS通过自动架构设计和工程减轻了人工定义网络的需求。然而，NAS方法往往很慢，因为它们需要大量的GPU计算。这种瓶颈主要是由于模型评估策略，它需要重新训练生成的模型架构，来评估其性能。
本文提出EPE-NAS，一种高效的性能估计策略，缓解了评估网络的耗时问题，通过对未训练的网络进行评分，并创建该评分与模型训练表现的关联性。我们通过查看类内和类间相关性进行未训练的网络进行评估。
我们表明EPE-NAS可以产生鲁棒的关联性并且将其 纳入一个简单的随机变量抽样策略，我们就能够使用单一的GPU在几秒钟内搜索有竞争力的网络，而不需要任何训练。
此外，EPE-NAS与搜索方法无关，而仅仅侧重于对未训练模型的评估，使得它很容易集成到几乎任何NAS方法中。

1 前言

在过去的几年里，深度学习算法已经有广泛的研究，并有效地应用于各种任务以，尤其是与计算机视觉相关的任务。
计算机视觉的巨大成功任务的出现主要归功于卷积神经的出现网络(CNNs)，具有鲁棒的特征提取能力以及 不同问题之间的迁移性。不同的CNNs架构已经逐渐被提出，并且逐渐表明CNNs可以通过修改来改进架构本身，添加额外的组件，例如残差连接，以此来减少了参数的数量大小或推理时间。然而, 设计高效的架构是非常耗时的。这需要专业知识和试错。神经网络可以有许多设计选择，例如层组合和序列，每层的参数、架构和训练过程中的优化规则。因此，一种自动进行神经架构的设计的方式是一个自然的选择。

神经架构搜索(NAS)是一种自动的架构工程和设计，目的是为了针对特定问题自动设计出高性能模型结构。NAS解决计算机视觉问题的方法已经成功应用于各种任务，如图像分类、语义分割、目标检测等。
最初，NAS方法都是使用相似的流程设计架构。一个控制器, 使用特定的搜索策略，是最常见的强化学习或进化策略， 在可能的搜索空间中采样一个搜索空间定义架构A，包含可能的操作(例如卷积、池化)和模型结构类型。对生成的模型结构进行评估结果作为奖励给控制器进行更新它的参数。这个过程重复了数千次，控制器随着时间的推移借此学习采样更好的模型结构。这个过程的可视化可参见下图

图1:通用神经架构搜索流程。一个控制器从可能的搜索空间中生成模型结构，然后进行评估，以及它的性能被用作更新控制器的奖励。我们的方法作用于性能估计块，得到未训练的的评估结果。

=======doing
虽然NAS方法已经显示出很好的效果，大多数方法的计算成本都非常高，在某些情况下需要几个月的GPU计算时间。这主要采用的性能估计策略相关，对生成的模型结构 要么是 定期训练从零开始直至收敛 要不就是 部分训练。最近的方法，试图通过共享参数使训练过程更加顺畅，对已经训练好的网络应用突变，或通过使用one-shot NAS，其中控制器生成模型结构和相应的权重。然而，已经出现了一些NAS方法过度拟合搜索空间，由于引入了设计偏差，不允许探索。

为了缓解上述问题，在本文中提出EPE-NAS，一种性能估计策略
在初始化阶段对生成的网络进行评分，无需任何训练。
那么如何对未训练的模型进行评分呢？本文提出 通过 评估 在输入的影响下 模型梯度的变化行为，去除 训练 中生成更新参数的步骤。
该方法速度极快，可在几秒内分析上千个网络。我们证明了该方法由于其快速的推理，可从未训练模型状态中得到训练模型精度，因此可以指导搜索空间的搜索网络训练。
本文所提出的方法可以很容易地集成到几乎任何NAS系统中，通过完全替代性能估计策略，或者通过创建多重评估来补充策略。
将该方法融入采用随机搜索策略可来证明这一点，最终在数秒内实现有竞争力的搜索结果。
本文的主要贡献可以概括为如下:

• 本文提出一种新的性能估计策略，能够评估未训练的模型 训练后的性能，这样可以很容易地集成到几乎任何NAS的方法。

• 我们分析了所提出方法的影响