Behaviour Space Analysis of LLM-driven Meta-heuristic Discovery

文章主要内容总结

本文围绕大型语言模型（LLM）驱动的元启发式算法自动发现展开研究，核心是通过行为空间分析理解LLM生成的优化算法的性能差异。研究采用LLaMEA框架（结合GPT-4o-mini模型），迭代进化黑箱优化启发式算法，并在BBOB基准测试集的10个函数上进行评估。

研究对比了6种不同突变提示策略的LLaMEA变体，记录了每种运行的动态行为指标（包括探索、利用、收敛、停滞等），并通过可视化投影、网络表示（如搜索轨迹网络）、代码进化图（CEGs）、性能收敛曲线等多维度方法进行分析。结果显示，不同LLaMEA配置的搜索动态和算法结构存在显著差异：其中采用代码简化提示和随机扰动提示的1+1精英进化策略变体表现最优（AOCC指标最高），且高绩效算法通常表现出更强的利用行为、更快的收敛速度和更少的停滞。

研究表明，行为空间分析可解释为何特定LLM设计的启发式算法更优，以及LLM驱动的算法发现如何在复杂的算法搜索空间中导航，为未来自适应LLM驱动算法生成器的设计提供了 insights。

创新点

1. 提出定量行为指标体系：定义了一套涵盖探索、利用、收敛、停滞的多维度行为指标，用于量化LLM生成算法的搜索动态。
2. 多维度分析方法融合：首次系统结合动态行为分析（如搜索轨迹网络STNs）、静态代码特征分析（代码进化图CEGs）、性能收敛曲线（AOCC），实现对LLM生成算法的全方位解析。
3. 揭示LLM驱动算法设计的关键因素：通过对比6种LLaMEA变体，发现1+1精英策略结合简化与随机