AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks

文章主要内容总结

本文聚焦于多阶段复杂任务中的测试时计算最优缩放（test-time compute-optimal scaling）问题，提出了一种基于大型语言模型（LLM）代理的框架AgentTTS。

现有测试时缩放（TTS）方法主要针对单阶段任务，通过在推理时分配额外计算资源提升LLM性能，但现实中许多任务是多阶段的（如检索-生成问答、软件开发流程等），由多个异质子任务组成，每个子任务需特定能力的LLM。因此，本文研究的核心问题是：在给定总计算预算的情况下，为多阶段任务中的每个子任务选择合适的模型并分配预算，以最大化整体性能。

该问题面临两大挑战：（1）模型和预算分配的组合搜索空间庞大，且推理成本高，暴力搜索不可行；（2）子任务间的最优分配存在依赖关系，增加了搜索复杂度。

通过在4类任务、6个数据集上的实验，作者得出三个关键洞察：（1）不同子任务对大型/小型模型有不同偏好；（2）测试时计算的增加在达到临界点后收益递减甚至为负；（3）前期子任务的计算分配会影响后续子任务的缩放动态和需求。基于这些洞察，作者提出AgentTTS框架，通过LLM代理与执行环境的迭代反馈交互，自主搜索最优分配策略。实验表明，AgentTTS在搜索效率、对训练集大小的鲁棒性和可解释性上显著优于传统方法和其他LLM基线。

创新点

1. 新问题定义：首次系统研究多阶段复杂任务中的测试时计算最优缩放问题，突破了现有TTS方法仅适用于单阶段任务的局限。
2. 关键洞察提炼：通过实验揭示了LLM在多阶段任务中三个普适性行为模式，为后续优化策略提供了理