2025_NIPS_Matryoshka Pilot: Learning to Drive Black-Box LLMs with LLMs

论文核心总结与翻译

主要内容

文章提出Matryoshka Pilot（M-Pilot）框架，通过轻量级白盒LLM作为控制器，指导黑盒LLM完成推理、规划、个性化等复杂长程任务。核心是将复杂任务分解为中间指导信息，通过多轮交互与反馈优化，在不访问黑盒模型参数的前提下提升其性能，实验验证了该框架在三类任务上的有效性与通用性。

创新点

1. 提出控制器-生成器架构，以白盒LLM为控制器、黑盒LLM为生成器（环境一部分），实现可控多轮生成。
2. 采用迭代直接偏好优化（IDPO），通过正负轨迹对比训练，让控制器持续自我改进中间指导质量。
3. 支持即插即用，优化后的白盒控制器可无缝适配不同黑盒LLM，无需额外训练。
4. 针对不同任务类型设计专用中间指导形式，如推理任务的问题分解、规划任务的高层计划、个性化任务的用户历史总结。

---

Abstract 翻译

尽管黑盒大型语言模型（LLM）具备令人印象深刻的生成能力，但其固有的不透明性阻碍了其在推理、规划和个性化等能力上的进一步提升。现有工作旨在通过领域特定适配来增强LLM能力，这需要对可访问的模型参数进行额外训练，而这对于黑盒LLM来说是不可行的。为解决这一挑战，我们提出Matryoshka Pilot（M-Pilot），一种轻量级白盒LLM控制器，通过将复杂任务分解为一系列中间输出来指导大规模黑盒LLM生成器。具体而言，我们将黑盒LLM视为环境，M-Pilot作为策略，通过提示提供中间指导以驱动黑盒LLM。