2025_NIPS_REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving

文章核心总结与翻译

一、主要内容

该研究针对大规模神经网络模型部署时的高成本问题，聚焦编译器优化的样本效率瓶颈，提出了一种名为REASONING COMPILER的新型编译框架。核心思路是将编译器优化转化为序贯的上下文感知决策过程，通过融合大型语言模型（LLM）的上下文推理能力与蒙特卡洛树搜索（MCTS）的结构化探索能力，高效导航指数级增长的程序变换空间。

研究背景：传统编译器难以应对神经网络工作负载的复杂变换依赖，现有随机搜索（如进化算法）存在样本效率低、缺乏上下文感知的问题。LLM具备理解代码结构和变换历史的潜力，但未被有效整合到编译优化流程中。

框架核心组件：

1. LLM引导的上下文推理模块：通过结构化提示（包含当前程序状态、变换历史、性能反馈和硬件成本模型），让LLM生成语义有效、硬件感知的变换序列，避免无效探索。
2. MCTS结构化搜索模块：利用UCT准则平衡探索与利用，通过LLM生成的候选变换扩展搜索树，结合轻量级硬件成本模型进行滚出评估，再通过反向传播更新树节点权重，指导后续搜索。
3. 模块化实现：基于Apache TVM扩展，包含提示生成器、LLM接口和树管理器，支持多硬件平台和多模型层的适配。

实验结果：在5个代表性模型层（Llama-3-8B注意力层、DeepSeek-R1 MoE层等）和5种硬件平台（Amazon Graviton2、AMD EPYC 7R13等）上，与TVM的进化搜索相比，REA