AtomR: Atomic Operator-Empowered Large Language Models for Heterogeneous Knowledge Reasoning

本文是LLM系列文章，针对《AtomR: Atomic Operator-Empowered Large Language Models for Heterogeneous Knowledge Reasoning》的翻译。

摘要

大型语言模型（LLM）的最新进展导致了各种自然语言处理任务的显著改进，但由于LLM在推理规划和幻觉问题上的无效性，LLM在执行知识密集型复杂问题时仍然具有挑战性。一个典型的解决方案是采用检索增强生成（RAG）结合思维链（CoT）推理，将复杂问题分解为链状子问题，并在每个子问题上应用迭代RAG。然而，先前的工作表现出次优的推理规划，忽视了从异构源进行动态知识检索。在本文中，我们提出了AtomR，这是一种在原子级别进行多源推理的新型异构知识推理框架。从知识的图形建模中汲取灵感，AtomR利用大型语言模型（LLM）将复杂问题分解为三个原子知识运算符的组合，显著增强了规划和执行阶段的推理过程。我们还介绍了BlendQA，这是一种新的评估基准，专门用于评估复杂的异构知识推理。实验表明，AtomR在三个单源和两个多源推理基准测试中明显优于最先进的基线，在2WikiMultihop上的性能显著提高了9.4%，在BlendQA上的性能提高了9.5%。我们发布代码和数据集。

1