MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery

论文总结：MLEvolve —— 面向自动化机器学习算法发现的自演化框架

一、研究背景与问题

大型语言模型（LLM）智能体越来越多地被应用于科学发现和机器学习工程（MLE）等长时程任务中，持续自演化能力成为这类任务的核心需求。然而，现有MLE智能体面临三大关键挑战：

1. 分支间信息隔离：现有搜索方法多采用线性或树状结构，信息被限制在单一分支内，难以跨分支传递成功经验；
2. 无记忆搜索：大多数搜索框架无法积累和复用历史经验，每次决策孤立进行；
3. 缺乏层次化控制：多数方法将策略规划与代码实现耦合在一次生成中，导致迭代效率低下，修改难以控制。

二、核心内容：MLEvolve框架

MLEvolve是一个基于LLM的多智能体自演化框架，通过三个核心组件协同工作，实现了端到端的机器学习算法自动发现：

（一）渐进式蒙特卡洛图搜索（Progressive MCGS）

将传统树搜索扩展为图结构，通过基于图的跨分支信息流打破了分支间的信息隔离。具体而言，在搜索的Selection阶段引入基于熵的渐进探索调度，使搜索策略能够自适应地从广泛探索向集中利用过渡，避免了固定探索策略导致的局部最优陷阱。