特定领域 RAG 新突破：LlamaPack 实现 RAFT 论文方法

一、前言

在上一篇文章《RAFT：让大型语言模型更擅长特定领域的 RAG 任务》中，我们介绍了 RAFT 训练方法，RAFT（检索增强微调）是一种训练方法，可以提高大型语言模型 (LLM) 在开卷、域内问答任务中的性能。给定一个问题和一组检索到的文档，RAFT 训练 LLM 从文档中识别并引用最相关的片段，这些片段有助于回答问题，同时忽略不相关或分散注意力的信息。通过训练模型识别相关信息并提供佐证，RAFT 可以增强 LLM 的推理和解释能力，最终提高其在需要额外信息或知识的情况下准确、合理地回答问题的能力。

RAFT 的一个关键点在于如何生成用于微调的数据集。每个问答对都包含一个“标准答案”文档，可以从中推断出问题的答案，以及一些不相关的“干扰”文档。在训练过程中，这迫使模型学习哪些信息是相关的，哪些信息是无关的，并记忆领域知识。

为了简化 RAFT 数据集的创建过程，LlamaIndex 在 LlamaPack 中实现了 RAFT 论文中提出的方法，该方法主要是将语言模型应用于特定领域的 RAG（检索增强生成）任务。今天，我们将介绍如何使用 RAFTDatasetPack LlamaPack 创建 RAFT Dataset。

二、代码实现

使用 LlamaIndex 实现 RAFT 涉及几个关键步骤，以针对特定领域的任务有效地微调大型语言模型 (LLMs)。

2.1、安装依赖

!pip install llama-index
!pip install llama-inde