Divide and Conquer for Large Language Models Reasoning-优快云博客

本文是LLM系列文章，针对《Divide and Conquer for Large Language Models Reasoning》的翻译。

大语言模型推理的分而治之

摘要
1 引言
2 方法
3 实验
4 相关工作
5 结论

摘要

随着思维链（CoT）及其衍生方法的出现，大型语言模型（LLM）在各种推理基准中表现出了令人印象深刻的性能，尤其是在涉及多选问题（MCQ）的任务中。然而，当前的工作统一处理所有数据，而不考虑解决问题的难度，这意味着过度关注简单的问题，而不足以解决复杂的问题。为了应对这一挑战，我们受到人类使用启发式策略对任务进行分类并单独处理的启发，建议将分而治之应用于LLM推理。首先，我们根据统计置信度得分（CS）将问题划分为不同的子集，然后用精心设计的方法，包括基于先验知识的推理（PKR）和基于过滤选择的推理（FCR），以及它们的集成变体，固定几乎解决的集合，并克服要求苛刻的细致入微的过程集合。我们的实验表明，这种提出的策略显著提高了模型在涉及算术、常识和逻辑任务的九个数据集上的推理能力。例如，与基线相比，我们在AQuA的8.72%、ARC Challenge的15.07%和RiddleSense的7.71%的低置信度子集上取得了显著改善。此外，通过对基本原理长度和选项数量的广泛分析，我们验证了PKR中较长的推理路径可以防止模型参考推断有害的捷径，并发现在FCR中删除不相关的选择可以大大避免模型的混淆。代码位于https://github.com/AiMijie/Divide-and-Conquer。