重磅发布 | 复旦《大规模语言模型：从理论到实践（第二版）》

最新推荐文章于 2025-06-16 17:17:15 发布

Llama-Turbo

最新推荐文章于 2025-06-16 17:17:15 发布

阅读量940

点赞数 12

文章标签：人工智能 langchain embedding RAG AI大模型

本文链接：https://blog.youkuaiyun.com/pythonhy/article/details/148495185

版权

一、关于本书

大语言模型（Large Language Models，LLM）是一种由包含数百亿以上权重的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标记文本进行训练。自2018年以来，包含Google、OpenAI、Meta、百度、华为等公司和研究机构都纷纷发布了包括BERT， GPT等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。

2021年开始大模型呈现爆发式的增长，特别是2022年11月ChatGPT发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识掌握和对语言的理解。

本书将介绍大语言模型的基础理论包括语言模型、分布式模型训练以及强化学习，并以Deepspeed-Chat框架为例介绍实现大语言模型和类ChatGPT系统的实践。

二、《第二版》特点 - 新增50%以上全新内容

《大规模语言模型：从理论到实践（第2版）》除对大语言模型的构建进行深入解析外，还进一步对如何增强大语言模型的能力、如何提升大模型的效率，以及如何将大语言模型应用于实际场景进行了深入讨论。

内容涵盖多模态大语言模型、大模型智能体、检索增强生成、大语言模型效率优化、大语言模型评估和大语言模型应用开发等多个热门方向，全面展示了当前大语言模型在不同领域的最新进展与应用潜力。

在本书第 1 版的基础上添加了 4 章全新内容，同时对其他章节进行了大量修订和重写。新增内容覆盖MOE、多模态、智能体、RAG、大模型效率优化、预训练、指令微调、强化学习、对齐、评估、应用开发等多方面。

三、章节

第1章绪论

简明介绍了大语言模型的基本概念、发展历史、构建流程，并说明了本书的结构安排，为读者建立起全局认知框架。

第2章大语言模型基础

深入解析了 LLM 的核心结构——Transformer，包括嵌入、注意力、前馈网络等组成部分，并详解 GPT 模型、混合专家模型（MoE）等不同架构，帮助读者建立从基本结构到模型架构的技术认知。

第3章预训练数据

介绍了预训练所需的大规模语料来源与数据处理方法（如清洗、去重、切词等），并探讨数据质量、规模、多样性对模型性能的影响。还列举了主流开源数据集，为实际预训练奠定数据基础。

第4章分布式训练

详细讲解数据并行、模型并行、混合并行等策略及其内存优化技巧，结合实际框架（如 DeepSpeed）的实践，帮助读者理解如何高效训练大模型。

第5章指令微调

系统介绍了指令微调的理念、数据构建与评估方法、LoRA 等高效微调技术，并辅以 DeepSpeed-Chat 的实践说明，面向实际应用强化模型指令理解与响应能力。

第6章强化学习

聚焦于 RLHF（基于人类反馈的强化学习），介绍策略梯度、PPO 等算法在语言模型中的应用，结合 DeepSeek-R1、Kimi 等模型案例，展示 RL 在提升生成质量方面的重要作用。

第7章多模态大语言模型

探讨语言模型与视觉、语音等模态融合的架构与挑战，并详细介绍 MiniGPT-4 的结构和训练方法，是理解 AI 从语言走向感知智能的关键章节。

第8章大模型智能体

围绕“智能体”概念，讲述其模块化架构（感知、记忆、工具等），并以 LangChain 与 Coze 平台为实践例，说明如何基于 LLM 构建具备规划与行动能力的智能体系统。

第9章检索增强生成（RAG）

系统介绍 RAG 的整体架构、模块化设计、优化策略与评估方法，适用于提升 LLM 在开放知识任务中的能力。也包括构建与优化 RAG 系统的工程实践。

第10章效率优化

讨论 LLM 的训练与推理效率，包括模型压缩、低精度训练、稀疏化、知识蒸馏等方法，并以 vLLM 推理框架为实践案例，为部署与落地提供技术方案。

第11章模型评估

构建了评估 LLM 的系统框架，涵盖知识能力、伦理安全与垂直领域，结合具体评估指标和数据集，为模型开发与应用提供反馈机制与质量保障。

第12章应用开发

介绍 LLM 在多个场景的应用（如聊天、代码、搜索、教育等），并包含实际开发案例与本地部署实践（如 llama.cpp、Ollama），为开发者提供从原理到落地的全链路指南。

总结：

这本书构建了一个由理论基础 → 数据处理 → 模型训练 → 微调与强化 → 多模态 → 智能体 → 应用开发与部署组成的完整技术闭环，是面向工程实践和科研学习的全景式 LLM 教程。既适合新手入门，也适合有经验的开发者系统提升。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望