New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models

本文是LLM系列，针对《New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models》的翻译。

摘要

生成准确的逐步推理对于大型语言模型（LLM）解决复杂问题、增强鲁棒性和可解释性至关重要。尽管关于开发高级推理方法的研究层出不穷，但系统分析生成推理链中的各种LLM和推理策略仍然是一个重大挑战。困难源于缺乏两个关键要素：（1）用于评估不同任务上生成的推理链的自动方法，以及（2）用于系统比较的不同推理方法的统一形式和实现。本文旨在填补这一空白：（1）我们引入了AutoRace用于全自动推理链评估。现有的指标依赖于昂贵的人工注释或预定义的LLM提示，无法适应不同的任务。相比之下，AutoRace会自动为每个任务创建详细的评估标准，并使用GPT-4根据标准进行准确评估。（2）我们开发了LLM Reasoners，这是一个在搜索、奖励和世界模型组件的统一公式下，对现有和新的推理算法进行标准化模块化实现的库。通过新的评估和库，（3）我们对不同的推理方法（如CoT、ToT、RAP）进行了广泛的研究。该分析揭示了关于影响推理的不同因素的有趣发现，包括奖励指导、搜索的广度与深度、世界模型和提示格式等。

1 引言

2 相关工作

3 AutoRace：自动推理链评估

4 LLM推理机：统一的公式和库