RAG实战 第五章：RAG 中的 LLM 生成与提示工程

本章将深入探讨 RAG 系统的另一个核心支柱——大型语言模型（LLM）的生成能力。我们将学习如何利用提示工程（Prompt Engineering）这一强大技术，引导 LLM 结合检索到的上下文信息，生成高质量、准确且符合需求的答案。本章还将涵盖优化生成效果的策略，以及如何处理 LLM 可能出现的幻觉问题。

---

5.1 LLM 生成原理回顾

在 RAG 系统中，LLM 扮演着“智能合成器”的角色。它接收用户的问题和检索到的相关上下文，然后依据这些信息生成连贯、有意义的回答。理解 LLM 的基本生成原理，有助于我们更好地进行提示工程和优化。

生成模式：自回归生成、Seq2Seq 模式

LLM 的文本生成过程，本质上是一个预测下一个词（Token）的过程。

• 自回归生成 (Autoregressive Generation)：
  • 概念： 这是当前大多数 LLM（如 GPT 系列、Llama 系列）采用的主要生成模式。模型在生成文本时，是一个词一个词地连续生成。每生成一个词，这个词就会被添加到输入序列中，作为生成下一个词的上下文。
  • 工作流程：