基于知识图谱增强的RAG系统阅读笔记(一)提升大语言模型的准确性

第一章 提升大语言模型的准确性

本章内容

• 大语言模型
• EXECUTE：大语言模型的局限性
• 持续微调模型的不足之处
• 检索增强生成
• 结合结构化与非结构化数据以支持各类问题

大语言模型（LLM）在多个领域展现了令人印象深刻的能力，但它们存在显著的局限性，影响了其实际应用效果，尤其是在生成准确且最新的信息时。为应对这些局限性，一种被广泛采用的方法是检索增强生成（Retrieval-Augmented Generation, RAG），该工作流将大语言模型与外部知识库相结合，以提供准确且时效性强的响应。通过在运行时从可信来源提取数据，RAG 能够显著减少（尽管无法完全消除）大语言模型最持久的挑战之一——“幻觉”现象。此外，RAG 使得系统能够无缝地将通用知识与模型预训练数据中可能未充分涵盖的专业领域信息相结合。尽管具有这些优势，目前的 RAG 实现往往仅专注于非结构化数据，而忽视了知识图谱等结构化数据源的潜力。

**知识图谱是实体、其属性及其相互关系的结构化表示，提供了一种语义框架，能够连接结构化与非结构化数据。**例如，**客户支持的对话记录属于非结构化文本，而产品目录或用户数据库则属于结构化数据。将二者结合，意味着系统能够将对话中提到的“我最近的笔记本电脑订单”与具体的型号、购买日期和保修状态等结构化记录关联起来。知识图谱作为 RAG 的关键组成部分，能够实现准确、富含上下文且相互关联的信息检索——例如，实时将客户关于药物相互作用的查询，链接到结构化的医疗指南、过往案例研究以及患者的病史。**将知识图谱集成到 RAG 流程中，可以克服大语言模型的局限性，增强数据检索能力，并促进在医疗、金融和技术支持等领域对多样化数据类型的统一管理和利用。

1.1 大语言模型简介

到目前为止，你很可能已经接触或听说过 ChatGPT，它是对话式人工智能中最著名的例子之一。ChatGPT 是由 OpenAI 开发的一种对话式用户界面，其背后由大语言模型（LLM）驱动，例如 GPT-4（OpenAI 等，2024）。大语言模型基于 Transformer 架构（Vaswani 等，2017），这种架构使它们能够高效地处理和生成文本。这些模型在海量的文本数据上进行训练，从而学习到语言的模式、语法、上下文，甚至一定程度的推理能力。**训练过程包括向模型输入包含各种文本的大型数据集，主要目标是使模型能够准确预测序列中的下一个词。**这种广泛的训练使模型能够基于从数据中学到的模式来理解和生成类似人类的文本。例如，如果你将“Never gonna”作为输入提供给一个大语言模型，你可能会得到如图 1.1 所示的输出。

尽管大语言模型在生成上下文恰当的文本方面表现出色，但它们远不止是自动补全系统。**它们在遵循指令和适应各种任务方面展现出的卓越能力令人印象深刻。**例如，你可以要求 ChatGPT 以特定风格生成关于某个主题的俳句。这种能力不仅体现了模式识别，更展示了对特定任务指令的理解，从而能够生成远超简单文本预测的创造性且细腻的输出。

大语言模型（LLM）遵循指令并生成多样化、复杂输出的能力，无论是创作一首俳句还是提供结构化的回答，都远远超出了简单预测序列中下一个词的范畴。这种理解和执行详细指令的能力，使得大语言模型特别适合处理各种各样的任务。在本书中，你将利用这种遵循指令的能力来设计和优化检索增强生成（RAG）流程。通过发挥模型的指令遵循能力，你可以更有效地集成检索组件，根据特定上下文定制响应，并优化系统的准确性与可用性。