NAS论文笔记：Regularized Evolution for Image Classifier Architecture Search

Regularized Evolution for Image Classifier Architecture Search

图像分类器结构搜索的正则化进化算法

 

摘要

进化算法已被反复地应用于神经网络拓扑，但是由此发现的图像分类器仍不如人工分类器。本文开发了一种图像分类器AmoebaNet-A，它首次超越了手工设计。本文通过引入年龄属性来支持年轻的基因型来修改锦标赛选择进化算法。与尺寸匹配的AmoebaNet-A具有，与通过更复杂的体系结构搜索方法发现的当前最新ImageNet模型，相当的准确性。

 

简介

改进的硬件现在允许扩大进化以产生高质量的图像分类器。然而，进化算法/遗传规划所产生的体系结构还没有达到人类专家直接设计的体系结构的精度。

在本文，对标准进化过程做了两个补充：

（1）我们提出了一种改进的锦标赛选择进化算法:，称之为老化进化或正则进化。在锦标赛选拔中，最佳基因型（架构）被保留，我们建议将每个基因型与一个年龄相关联，并使锦标赛选择偏向年轻的基因型。

（2）实现一组最简单的突变，允许在NASNet搜索空间中进化，该搜索空间将卷积神经网络结构与小有向图相关联，其中顶点表示隐藏状态，标记边表示常用的网络操作（如卷积或池层）。变异规则只是通过随机地将边的原点重新连接到不同的顶点，并通过随机地重新标记边来改变结构，覆盖整个搜索空间。

 

相关的工作

 

 一种流行的进化方法是通过代数算法，例如NEAT。总体中的所有模型都必须完成训练，才能计算出下一代。在