建基于 ChatGPT 的问答系统（一）

第一章 简介

• 核心目标： 搭建基于 ChatGPT 的问答系统。

• 核心理念： 强大的指令理解能力、自然语言生成能力是 LLM 的核心。

• 背景： 大语言模型（LLM）正在改变生活，开发者需学会基于 API 快速开发应用。本课程基于吴恩达与 OpenAI 合作的《Building Systems with the ChatGPT API》教程。

• 学习路径： 从 Prompt Engineering 入手，逐步深入到系统搭建、输入输出检查、评估，最终实现一个完整的问答系统。

---

第二章 语言模型、提问范式与 Token

1. 语言模型

   • 定义： LLM 是通过预测下一个词的监督学习方式训练的。

   • 分类：

     • 基础语言模型 (Base LLM)： 基于文本训练数据预测下一个词，容易产生无关回答。

     • 指令调优语言模型 (Instruction Tuned LLM)： 经过专门训练，能更好地理解并遵循指令，如 ChatGPT。

   • 训练过程： 预训练 →→ 有监督微调 →→ 人类反馈强化学习 (RLHF)。

2. <