FL-NAS: Towards Fairness of NAS for Resource Constrained Devices via Large Language Models

本文是LLM系列文章，针对《FL-NAS: Towards Fairness of NAS for Resource Constrained Devices via Large Language Models》的翻译。

摘要

神经架构搜索（NAS）已成为行业中自动化各种应用程序的深度神经网络设计的有效工具，尤其是那些由计算资源有限的移动和边缘设备驱动的应用程序。新兴的大型语言模型（LLM）由于其强大的能力，最近也被纳入了NAS，并显示出一些有希望的结果。本文通过同时考虑三个重要的设计指标，即模型准确性、公平性和硬件部署效率，在这个方向上进行了进一步的探索。在本文中，我们提出了一种新的基于LLM的NAS框架FL-NAS，并通过实验表明，FL-NAS确实可以找到高性能的DNN，在几乎所有的设计考虑中都以数量级的优势击败了最先进的DNN模型。

1 引言

2 背景和动机

3 FL-NAS设计细节

4 实验结果

5 结论

本文提出了一种新的基于LLM的NAS框架FL-NAS，该框架在设计新的DNN模型时可以灵活地考虑各种设计指标。我们首次证明，FL-NAS可以执行高效的NAS搜索，同时优化准确性、公平性和硬件效率。我们的实验结果进一步说明了在类似的设计环境下，与传统的人工设计DNN和其他NAS方法相比，所提出的框架的有效性。我们的初步探索令人信服地表明，基于LLM的NAS方法值得进行更深入