基于darts改进的Progressive Differentiable Architecture Search

论文阅读笔记
论文：Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
代码链接：pdarts
原文作者：Xin Chen、Lingxi Xie等

这篇是把CMU之前的一个工作darts作为baseline，然后基于此存在的问题做出改进。

darts主要存在的问题有：

• 从proxy task中search到的cell，通过简单的堆叠强行把网络加深用在object task上，但存在一个depth gap，在proxy task中search到的cell在浅层网络中是有效的，但不一定在强行加深后仍然有效，或者说性能会下降。
• 随机初始化的影响，search的结果不太可控，很难复现。

主要工作

这篇论文的作者，针对第一个问题提出了一个解决方案，如图1.

darts在从proxy task 迁移到object task的时候，直接强行堆叠，如1（a）将8个cell叠为20个cell，这就会存在第一个问题。作者就把search分为几个阶段，同时考虑到显存的问题。设计如下：

1. 第一个阶段在所有候选operations中搜索搜索5个cell；
2. 第二个阶段在第一阶段的所有候选operations中选择Top个operations中搜索11个cell，其中是通过堆叠n