LLM Inference Enhanced by External Knowledge: A Survey

文章主要内容总结

本文系统综述了利用外部知识增强大型语言模型（LLMs）推理能力的方法，重点聚焦于结构化知识（表格和知识图谱）的整合策略，主要内容如下：

1. 外部知识分类

   • 非结构化数据：包括文本、图像、音视频等，需通过NLP、计算机视觉等技术提取信息，虽丰富但存在预处理成本高、易引入噪声等问题。
   • 结构化数据：
     • 表格：以行列形式组织数据，适用于事实验证、数值推理等任务，整合方法包括符号推理（如Text-to-SQL）、神经推理（如Chain-of-Table）和混合推理（如H-STAR）。
     • 知识图谱（KGs）：以三元组形式表示实体关系，支持多跳推理，整合策略分为松耦合（如CoK、RRA）和紧耦合（如ToG、PoG）。

2. 整合方法与性能对比

   • 表格整合：
     • 符号推理精度高但灵活性不足，神经推理适应性强但易产生幻觉，混合推理结合两者优势，在复杂任务中表现最佳（如H-ST