NAS论文笔记：代理模型篇：NSGA Net V2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Sear

写这个博客，主要是想做一下这方面的工作，想要使用代理模型来提高NAS效率。

运用代理模型求解优化问题是优化领域的一个重要思想，该思想是：

（1）将一个复杂的函数通过采集特征点构造一个相对简单的新的函数，我们称之为代理模型。

（2）再对代理模型进行优化求得最优解。

（3）由于该代理的模型只能一定程度上代表真实模型，它到最优解并不能直接代表原目标函数的最优解，所以需要对代理模型进行更新.

（4）通常是以一定的判据来重新采点，重新构造代理模型，直到满足收敛条件，便停止对代理模型的更新，所得的最优解即视为原函数的最优解。

在神经网络架构搜索过程中，代理模型简单来说就是，训练并利用一个计算成本较低的模型，去模拟原本计算成本较高的那个模型的预测结果，当需要计算的大模型的数量较多时，可以避开很多计算。

 

---

《NSGA Net V2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search》

                                           NSGANetV2：进化的多目标代理辅助神经体系结构搜索

 

 

摘要

这篇论文提出了一个高效的NAS算法，用于生成在多个竞争目标下具有竞争力的特定任务。包含两个代理模型：

（1）一个在体系结构级别，来提高的效率。

（2）一个在权重级别，通过超网，来提高梯度下降的训练效率。