Meta-Reasoner: Dynamic Guidance for Optimized Inference-time Reasoning in Large Language Models

本文是LLM系列文章， 针对《Meta-Reasoner: Dynamic Guidance for Optimized Inference-time
Reasoning in Large Language Models》的翻译。

摘要

大语言模型（LLMs）越来越依赖冗长的推理链来解决复杂任务。然而，这种试错方法往往会导致高昂的计算成本和错误传播，早期的错误可能会使后续步骤偏离正轨。为解决这些问题，我们引入了Meta-Reasoner框架，它通过让大语言模型 “思考如何思考” 来动态优化推理时的推理过程。受人类元认知和双过程理论的启发，Meta-Reasoner就像一个战略顾问，将高级指导与逐步生成过程分离。它采用上下文多臂老虎机算法迭代评估推理进展，选择最优策略（如回溯、消除歧义、从头开始或提出替代方法），并将计算资源重新分配到最有希望的路径上。我们在数学推理和谜题任务上的评估，凸显了动态推理链在克服大语言模型推理过程中固有挑战的潜力，也展示了其在更广泛应用中的前景，为推理密集型任务提供了一种可扩展且适应性强的解决方案。

引言

类似思维链（o1-like reasoning chains）的方式让大语言模型（LLMs）在实际解决问题之前能够 “长时间思考”。这在具有挑战性的任务中展现出了令人瞩目的性能，例如逻辑问题、谜题（Lei等人，2024；Yao等人，2023）、数学问题（Patel等人，2024；Lightman等人，2