阿里内部380页《从零开始大模型开发与微调基于PyTorch与ChatGLM》学习笔记，学到就是赚到！！

前言

大模型作为深度学习自然语言处理领域的璀璨明珠，是当前AI和NLP研究与产业的关键方向。

PyTorch凭借其最新的特性与广泛的适用性，成为深度学习领域中最受青睐的开源框架之一，吸引了众多开发者投入其中。

本手册以PyTorch 2.0为基础，通过Chat GLM这一实例，系统地介绍了大模型的基本理论、核心算法、程序实现步骤、实际应用案例以及模型微调技术。旨在帮助读者全面掌握大模型开发的关键技术，从而为商业决策、管理模式创新提供强有力的支持。

下载当前版本： 完整PDF书籍链接获取，可以扫描下方二维码免费领取👇👇👇

目录

第1章 新时代的曙光—人工智能与大模型 1

• 1.1 人工智能：思维与实践的融合 1
• 1.2 大模型开启人工智能的新时代 4
• 1.3 本章小结 7

第2章 PyTorch 2.0深度学习环境搭建 8

• 2.1 环境搭建1：安装Python 8
• 2.2 环境搭建2：安装PyTorch 2.0 15
• 2.3 生成式模型实战：古诗词的生成 18
• 2.4 图像降噪：手把手实战第一个深度学习模型 19
• 2.5 本章小结 26

第3章 从零开始学习PyTorch 2.0 27

• 3.1 实战MNIST手写体识别 27
• 3.2 自定义神经网络框架的基本设计 34
• 3.3 本章小结 43

第4章 一学就会的深度学习基础算法详解 44

• 4.1 反向传播神经网络的前身历史 44
• 4.2 反向传播神经网络两个基础算法详解 47
• 4.3 反馈神经网络反向传播算法介绍 58
• 4.4 本章小结 70

第5章 基于PyTorch卷积层的MNIST分类实战 71

• 5.1 卷积运算的基本概念 71
• 5.2 实战：基于卷积的MNIST手写体分类 80
• 5.3 PyTorch的深度可分离膨胀卷积详解 84
• 5.4 本章小结 90

第6章 可视化的PyTorch数据处理与模型展示 91

• 6.1 用于自定义数据集的torch.utils.data工具箱使用详解 92
• 6.2 实战：基于tensorboardX的训练可视化展示 100
• 6.3 本章小结 105

第7章 ResNet实战 106

• 7.1 ResNet基础原理与程序设计基础 106
• 7.2 ResNet实战：CIFAR-10数据集分类 114
• 7.3 本章小结 118

第8章 有趣的词嵌入 120

• 8.1 文本数据处理 120
• 8.2 更多的词嵌入方法—FastText和预训练词向量 134
• 8.3 针对文本的卷积神经网络模型简介—字符卷积 141
• 8.4 针对文本的卷积神经网络模型简介—词卷积 151
• 8.5 使用卷积对文本分类的补充内容 155
• 8.6 本章小结 158

第9章 基于循环神经网络的中文情感分类实战 160

• 9.1 实战：循环神经网络与情感分类 160
• 9.2 循环神经网络理论讲解 165
• 9.3 本章小结 168

第10章 从零开始学习自然语言处理的编码器 169

• 10.1 编码器的核心—注意力模型 170
• 10.2 编码器的实现 180
• 10.3 实战编码器：拼音汉字转化模型 184
• 10.4 本章小结 191

第11章 站在巨人肩膀上的预训练模型BERT 193

• 11.1 预训练模型BERT 193
• 11.2 实战BERT：中文文本分类 198
• 11.3 更多的预训练模型 203
• 11.4 本章小结 205

第12章 从1开始自然语言处理的解码器 206

• 12.1 解码器的核心—注意力模型 206
• 12.2 解码器实战—拼音汉字翻译模型 215
• 12.3 本章小结 231

第13章 基于PyTorch 2.0的强化学习实战 232

• 13.1 基于强化学习的火箭回收实战 232
• 13.2 强化学习的基本算法—PPO算法 243
• 13.3 本章小结 249

第14章 ChatGPT前身—只具有解码器的GPT-2模型 250

• 14.1 GPT-2模型简介 250
• 14.2 Hugging Face GPT-2模型源码模型详解 259
• 14.3 Hugging Face GPT-2模型的使用与自定义微调 282
• 14.4 自定义模型的输出 286
• 14.5 本章小结 290

第15章 实战训练自己的ChatGPT 291

• 15.1 什么是ChatGPT 291
• 15.2 RLHF模型简介 293
• 15.3 基于RLHF实战的ChatGPT正向评论的生成 297
• 15.4 本章小结 304

第16章 开源大模型ChatGLM使用详解 305

• 16.1 为什么要使用大模型 305
• 16.2 ChatGLM使用详解 307
• 16.3 本章小结 311

第17章 开源大模型ChatGLM 高级定制化应用实战 312

• 17.1 医疗问答GLMQABot搭建实战—基于ChatGLM搭建专业客服问答机器人 312
• 17.2 金融信息抽取实战—基于知识链的ChatGLM本地化知识库检索与智能答案生成 318
• 17.3 基于ChatGLM的一些补充内容 327
• 17.4 本章小结 331

第18章 对训练成本上亿美元的ChatGLM进行高级微调 332

• 18.1 ChatGLM模型的本地化处理 332
• 18.2 高级微调方法1—基于加速库Accelerator的全量数据微调 339
• 18.3 高级微调方法2—基于LoRA的模型微调 348
• 18.4 高级微调方法3—基于Huggingface的PEFT模型微调 357
• 18.5 本章小结 362

下载当前版本： 完整PDF书籍链接获取，可以扫描下方二维码免费领取👇👇👇