QA论文泛读笔记

使用WebQSP结果较好：ChatKBQA、GoG
使用多跳推理数据集HotpotQA等：KGP-T5，LongRAG，GNN-Ret，为长文本/多跳类任务

1 KnowPAT(ACL2024Findings)

1.1 解决的问题

将大模型应用于特定知识领域的问答任务，并新增一种对齐目标——人类偏好对齐。

1.2 方法

• 知识检索：通过无监督的问题-知识相似度计算得到Top K个相关知识，无需人工标注的数据。
• 生成两个偏好集合：风格偏好（SPS）和知识偏好（KPS）。风格偏好集合通过不同的LLM生成，知识偏好集合通过将相似度不同的知识分成三组生成。
• 微调和偏好对齐
  

1.3 实验和数据集

数据集：私有数据集和公开数据集，公开数据集是RJUA-QA（专业知识数据集）


有无代码：有
算力：未知

2 ChatKBQA(Findings of ACL 2024)

2.1 解决的问题

三大挑战：KBQA领域检索效率低，检索错误影响语义解析，KBQA方法的复杂性。
ChatKBQA是一种基于微调LLM的“先生成后检索”KBQA框架。

2.2 方法

2.3 实验和数据集

数据集：KBQA数据集WebQSP和CWQ
代码：https://github.com/LHRLAB/ChatKBQA

算力：a single NVIDIA A40 GPU (48GB)

3 KGP-T5（AAAI2024）

3.1 解决的问题

需要深入理解文档内容和结构之间逻辑关联的多文档问答任务。KGP知识图谱提示方法能够提示LLM进行MD-QA时构建正确的上下文，利用图谱增强了LLM。KGP包括一个图谱构建模块和一个图谱遍历模块。

3.2 方法

3.3实验及数据集

数据集：HotpotQA，IIRC，2WikiMQA，MuSiQue

代码：https://github.com/YuWVandy/KG-LLM-MDQA
算力：未知，但文中有写IRCoT requires running on A100-80G GPU, which is not affordable on our side，推测比这个需要的小（…）

4 KB-Coder(AAAI2024)

4.1 解决的问题

LLM在预训练期间对逻辑形式的接触很少，导致在生成逻辑形式时具有很高的格式错误率。

4.2 方法

4.3 实验及数据集

这篇有点特殊参考意义好像不大，不贴实验结果了。
数据集： GrailQA, WebQSP, GraphQ
代码：https://github.com/Arthurizijar/KB-Coder

5 GoG（EMNLP2024）

5.1 解决的问题

知识图谱往往无法覆盖回答问题所需的所有知识，GoG是一种针对不完整知识图谱问答（IKGQA）新任务的一种无需训练的方法，通过结合LLMs的推理能力和知识图谱的结构信息，来生成新的事实三元组并回答问题。

5.2 方法

5.3 实验和数据集

数据集：CWQ，WebQSP
代码：https://github.com/YaooXu/GoG
算力：未知

6 Interactive-KBQA(ACL2024)

6.1 解决的问题

在低资源场景下充分利用LLMs将问题转化为逻辑形式仍然是一个重大挑战，InteractiveKBQA通过直接与知识库（KBs）交互来生成逻辑形式。

6.2 方法

6.3 实验和数据集

数据集：WebQSP、CWQ、KQA Pro和MetaQA


代码：https://github.com/JimXiongGM/Interactive-KBQA
算力： four NVIDIA A100 80GB GPUs

7 LongRAG（EMNLP 2024 Main）

7.1 解决的问题

长文本问答的“中间迷失”问题，增强RAG对复杂长文本知识（即全局信息和事实细节）的理解。

7.2 方法

7.3 实验和数据集

数据集：HotpotQA，2WikiMQA，MusiQue

有无代码：有
算力：8xA100 GPUs (80G each)

8 GNN-Ret

9.1 解决的问题

现有的检索方法通常将参考文档分割成段落，并将它们作为独立单元进行处理，识别这种关联性是一个挑战。本文通过图神经网络来挖掘这种关联性，并用循环图神经网络来处理多跳推理。

8.2 方法

8.3 实验和数据集

数据集：MuSiQue,IIRC,2WikiMQA

有无代码：有
算力：未知

9 Q-KGR（findings of EMNLP2024）

9.1 解决的问题

检索到的子图往往有噪声，Q-KGR消除输入的噪声路径，还引入了Knowformer，用于将重评分后的知识图谱注入到大型语言模型中，以增强大模型事实推理的能力。

9.2 方法

9.3 实验和数据集

数据集：OBQA，Riddle，ARC，PIQA
有无代码：有
算力：A100-80G GPUs.（没具体写几张）

10 KS-LLM

10.1 解决的问题

知识密集型任务中的幻觉问题，本文首先根据输入问题生成三元组，然后从证据文档中选择与这些三元组最相似的证据句子，从证据文档中识别出有价值的信息。

10.2 方法

10.3实验和数据集

数据集： TriviaQA, WebQ, and NQ（知识密集型数据集，问题+证据文档）
有无代码：无
算力：未知

11 EFSum

11.1 解决的问题

面向证据，通过蒸馏和偏好对齐优化LLM作为事实摘要器，提高了LLM在零样本问答任务上的性能。

11.2 方法

11.3 实验和数据集

数据集：WebQSP，Mintaka

有无代码：有
算力：未知

12 G-Retriever

12.1 解决的问题

创新出一种图问答方法，而不是整合LLM与GNN，并允许处理远超LLM上下文窗口大小的文本图。

12.2 方法

12.3 实验与数据集

数据集：ExplaGraphs，SceneGraphs，WebQSP

算力： 2 NVIDIA A100-80G GPUs
有无代码：有