论文浅尝 | 用于多文档问答的知识图（AAAI2024）

笔记整理：华尹，浙江大学硕士生，研究方向为知识图谱与大语言模型

论文链接：https://dl.acm.org/doi/10.1609/aaai.v38i17.29889

发表会议：AAAI 2024

1. 动机

随着大型语言模型（LLM）的“预训练、提示、预测”范式在开放域问答（OD-QA）和单文档问答（D-QA）中取得显著成功，如何将这一范式推广到需要跨多份文档进行深度推理与信息聚合的多文档问答（MD-QA）场景，成为一个亟待解决的难题。然而，现有工作主要依赖经典的检索-阅读（retrieve-and-read）框架或多跳检索器（multi-hop retrievers），它们只能零散地检索到各文档中的局部上下文，难以抓取文档间的复杂逻辑关联；即便是最新的链/树/图思维（Chain/Tree/Graph-of-thought）提示策略，也因频繁调用非开源 LLM 而带来高延迟和高昂成本，且缺乏对文档多模态结构（如页面、表格等）信息的有效整合。

2. 贡献

本论文提出了一种知识图提示（Knowledge Graph Prompting, KGP）方法，从以下三个角度解决问题：

(1)显式编码跨文档逻辑关联。通过将段落或文档结构（页面、表格等）建模为图节点，以词汇/语义相似度和结构关系为图边，构建统一的知识图（KG），将多文档间的隐式关联显性化，为 LLM 提供全局化、结构化的提示上下文。

(2)根据问题在图上的自适应遍历。针对构建的知识图中可能存在的大量冗余信息，设计基于LLM 的图遍历agent，利用指令微调（instruction tuning）增强的推理能力，动态生成下一步可能的证据并智能选择最有价值的邻居节点，以兼顾高覆盖率和高检索精度。

(3)整合多模态文档结构。在知识图中增设页面、表格等结构化节点，使模型能够针对结构化查询（如“第 1 页与表 2 内容有何差异？”）精准定位并检索对应内容，拓宽 MD-QA 在实际复杂文档场景中的适用性。

3. 方法

该论文的整体流程如下图所示，分为两个主要模块：知识图构建（Knowledge Graph Construction）、智能体检索与LLM 推理（Agent Retrieve & LLM Reasoning）。

图1. 知识图构建流程

（1）知识图构建

作为整个方法的基石，首先需要面对的问题便是如何将模态多样、关联复杂的多文档组织构建成一个完备的知识图谱。作者从节点与边这两个基本维度来构建图谱。节点方面，作者将每个文档拆分为若干段落（passages），每个段落即作为一个节点被添加到图谱中，同时该段落的文本特征作为该节点的稠密特征。另外，作者使用 Extract-PDF API 提取页面（Page）和表格（Table）等结构作为独立节点，页面节点的特征为页码，表格节点的特征为其 Markdown 文本表示。从边的方面考虑，作者说明了四种可选的构建方式。一是 TF-IDF 方法，对所有文档提取 TF-IDF 关键词集，当两个段落共享关键词时，它们之间便会连一条边，借此可快速构造稀疏的词汇相似图。二是 KNN 相似度方法，使用sentence-transformer 或经过 MDR 预训练的文本编码器分别计算各段落嵌入之间的相似度，构造 K 最近邻图，以捕捉各文段间更深层的语义关联。三是 TAGME 方法，利用 TAGME 抽取维基百科实体，若两个段落节点共享实体则连边，补充实体级关联。最后是基于结构归属关系的方法，如图一右侧图谱的绿色箭头部分，为页面节点向该页内的段落／表格节点添加有向边，保证文档结构信息被显式刻画。

图2. 两种类型的问题下智能体检索与LLM推理

（2）智能体检索与LLM推理

作者使用Agent 实现在 KG 中根据查询问题自适应的遍历检索。遵循 MDR 方法获取到顺序的文档检索与推理路径，该数据将被用于微调此 Agent，令 Agent 能够基于已访问段落引导知识图遍历，优先前往最有前景的下一步段落，作者这里采用 T5 作为 LLM Agent。在每一步检索时，Agent 首先会根据前文生成下一步可能的证据，同时为了缓解幻觉问题并增强检索 Agent 的推理能力，会将生成的预测证据做 Query，检索出候选文档集中最相关的段落节点。下面将介绍整体检索与推理流程：

作者将查询问题分为结构类型问题与内容类型问题，其中结构类型问题是指如“Page1 主要是讨论什么？”这类需要根据页码或表格信息来回答的问题；其他涉及具体段落内容的问题归为内容类型问题。

对于一个查询问题，LLM 会判断其问题类型，若是结构类型问题，直接提取关键词（Page 或 Table），然后直接检索 KG 中相应的结构节点。对于内容类型问题，首先以 TF-IDF 检索初始化一组起始段落及推理路径队列；其次将每个段落的邻居段落节点加入候选队列中；紧接着使用微调后的 Agent 对候选队列进行排序；然后将 Top-K 节点作为下一步访问节点，并相应的更新候选队列和推理路径队列；最终按上述步骤依次检索，直到候选队列为空或路径长度达上限。最终将所有检索内容（或推理路径）输入给 LLM 推理出最终结果。

4. 实验

表1. 不同基线在MD-QA任务下的性能

该论文将多个主流方案作为主要对比基线，同时补充了未加检索内容和使用Golden 检索段落的变体结果，分别是图三中的 None 和 Golden。结果表明，作者提出的方法 KGP-T5在 HotpotQA、2WikiMQA、MuSiQue 等多个数据集上表现优异。

表2. 不同LLM作为检索Agent在MD-QA任务下的性能

同时，作者对比了使用不同LLM，如 ChatGPT、LLaMA、T5 这三种不同的 LLM 作为 Agent 在各数据集上的表现，结果与主表情况类似，展现出该 Agent 角色的设计具有一定的鲁棒性。

表3. (a)、(b) 不同分支因子对MD-QA 的性能影响，(c) 文档数量增加对性能与效率的影响

另外，如图五 (a)、(b) 所示，作者探索了不同大小的分支数量（即检索时的Top-K 参数）对性能的影响，2WikiMQA 与 MuSiQue 两个数据集上均呈现出先提升后下降的趋势，表明随着 Top-K 的增大，Golden段落命中概率提升的同时无关的噪声数据也会增多。(c)部分比较了KG 包含不同数量的文档时 KGP 的效率，结果表明，KGP 始终由于其他基线，在效率上也优于基于稠密特征的 DPR，仅略输于基于启发式方法的 TF-IDF。

5. 总结

该篇论文针对MD-QA 任务，提出用 KG 的视角重新整理组织 MD的方法——KGP，并采用 LLM 作为检索 Agent 实现对 KG 的结构性检索。在 HotpotQA、MuSiQue、IIRC 及 PDFTriage 等多项基准上，KGP-T5 均超越现有基线，尤其在结构化问题上首次实现了对文档页面／表格节点的高效检索。整体而言，KGP 将“预训练、提示与预测”范式与图结构遍历有机结合，为多文档、多模态场景下的问答任务提供了新思路和实用框架。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型实战项目&项目源码👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

为什么分享这些资料?

只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）