Divide and Conquer for Large Language Models Reasoning

UnknownBody

于 2024-02-19 17:57:53 发布

阅读量425

点赞数 8

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136173879

版权

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文探讨了大型语言模型（LLM）在推理任务中的局限性，提出了一种新的策略——分而治之。通过统计置信度得分（CS）将问题划分为子集，使用基于先验知识的推理（PKR）和基于过滤选择的推理（FCR）处理，提升在算术、常识和逻辑任务中的表现。实验显示，这种方法在多个数据集上显著提高了模型性能，如AQuA、ARC Challenge和RiddleSense。同时，分析揭示了推理路径长度和选项数量对结果的影响，为未来研究提供了方向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Divide and Conquer for Large Language Models Reasoning》的翻译。

摘要

随着思维链（CoT）及其衍生方法的出现，大型语言模型（LLM）在各种推理基准中表现出了令人印象深刻的性能，尤其是在涉及多选问题（MCQ）的任务中。然而，当前的工作统一处理所有数据，而不考虑解决问题的难度，这意味着过度关注简单的问题，而不足以解决复杂的问题。为了应对这一挑战，我们受到人类使用启发式策略对任务进行分类并单独处理的启发，建议将分而治之应用于LLM推理。首先，我们根据统计置信度得分（CS）将问题划分为不同的子集，然后用精心设计的方法，包括基于先验知识的推理（PKR）和基于过滤选择的推理（FCR），以及它们的集成变体，固定几乎解决的集合，并克服要求苛刻的细致入微的过程集合。我们的实验表明，这种提出的策略显著提高了模型在涉及算术、常识和逻辑任务的九个数据集上的推理能力。例如，与基线相比，我们在AQuA的8.72%、ARC Challenge的15.07%和RiddleSense的7.71%的低置信度子集上取得了显著改善。此外，通过对基本原理长度和选项数量的广泛分析，我们验证

了解本专栏