1. 为什么要用 LLM 设计算法(LLM4AD)
算法在解决各个领域的问题中发挥着至关重要的作用,包括工业、经济、医疗和工程等领域。
传统的手工设计算法的方法繁琐且耗时,需要广泛的专业知识和大量的努力。
因此,人们越来越关注在算法设计中采用机器学习和计算智能技术以自动化和增强算法开发过程。
LLMs 在语言理解、数学推理、代码生成等各个研究领域中有着出色的表现。在过去的三年里,大型语言模型用于算法设计(LLM4AD)已经成为一个新兴的研究领域,有望增强甚至重塑算法的构思、优化和实施方式。
LLMs 的强大功能和适应性展示了其在改进和转变算法设计过程中的潜力,包括启发式生成、代码优化,甚至创造针对特定问题的新算法。这种方法不仅减少了设计阶段所需的人力,还提高了算法设计过程的创新性和效率。
这篇文章中,作者提出了一个新的多维度分类法来分析LLM4AD(Large Language Models for Algorithm Design):
-
• 1)LLMs 在算法设计中使用的四种范式,概述了这些模型如何为算法设计做出贡献或增强算法设计;
-
• 2)搜索方法,探讨了 LLMs 用于导航和优化算法设计中搜索空间的各种方法;
-
• 3)提示词设计,研究了如何使用不同的提示策略;
-
• 4)应用领域,确定 LLMs 正在应用于解决的不同领域。
2. LLM4AD现状
作者对新兴领域“大语言模型用于算法设计”(LLM4AD)中现有研究工作进行系统的梳理和分类。调查范围包括:
-
• 1)“大语言模型”一词指的是规模足够大的语言模型。这些模型通常采用 transformers 架构,并以自回归方式运行。使用较小模型进行算法设计的研究,如传统的基于模型和机器学习辅助的算法,不在考虑范围内。虽然精确定义“大型”模型具有挑战性,但大多数前沿的大型语言模型包含超过十亿个参数。使用其他大型模型但缺乏语言处理能力的研究,如纯视觉模型,不在考虑范围内。然而,包括语言处理的多模态大型语言模型则在我们的调查范围之内。
-
• 2)“算法”一词指的是一组设计用来解决问题的数学指令或规则,特别是当由计算机执行时。这个广泛的定义包括传统的数学算法、大多数启发式方法,以及可以被解释为算法的某些策略。
论文收集分析包括四个阶段:
-
• 第一阶段:数据提取和收集。通过谷歌学术、科学网和 Scopus 收集相关论文。搜索逻辑是标题必须包含以下两组词语中至少一组的任意组合:“LLM”、“LLMs”、“大型语言模型”、“算法”、“启发式”、“搜索”、“优化”、“优化器”、“设计”、“方法”(例如,LLM 和优化,LLMs 和算法)。在移除重复的论