本文是LLM系列文章,针对《AtomR: Atomic Operator-Empowered Large Language Models for Heterogeneous Knowledge Reasoning》的翻译。
摘要
大型语言模型(LLM)的最新进展导致了各种自然语言处理任务的显著改进,但由于LLM在推理规划和幻觉问题上的无效性,LLM在执行知识密集型复杂问题时仍然具有挑战性。一个典型的解决方案是采用检索增强生成(RAG)结合思维链(CoT)推理,将复杂问题分解为链状子问题,并在每个子问题上应用迭代RAG。然而,先前的工作表现出次优的推理规划,忽视了从异构源进行动态知识检索。在本文中,我们提出了AtomR,这是一种在原子级别进行多源推理的新型异构知识推理框架。从知识的图形建模中汲取灵感,AtomR利用大型语言模型(LLM)将复杂问题分解为三个原子知识运算符的组合,显著增强了规划和执行阶段的推理过程。我们还介绍了BlendQA,这是一种新的评估基准,专门用于评估复杂的异构知识推理。实验表明,AtomR在三个单源和两个多源推理基准测试中明显优于最先进的基线,在2WikiMultihop上的性能显著提高了9.4%,在BlendQA上的性能提高了9.5%。我们发布代码和数据集。