《从头构建大语言模型》：带你深入了解LLM，还有配套视频课程！

从头构建大语言模型：代码与书籍介绍

本仓库包含开发、预训练和微调类GPT大语言模型（LLM）的代码，也是《从头构建大语言模型》这本书的官方代码仓库。在《从头构建大语言模型》中，读者将通过逐步从头编码，深入了解大语言模型（LLM）的内部工作原理。作者会引导读者创建自己的LLM，并通过清晰的文字、图表和示例解释每个阶段。本书介绍的为教育目的训练和开发小型但实用模型的方法，与创建像ChatGPT背后的大规模基础模型的方法类似。此外，本书还包含加载更大预训练模型权重进行微调的代码。

相关链接与下载方式

提供了官方源代码仓库链接、曼宁出版社网站上的图书链接、亚马逊网站上的图书页面链接，ISBN为9781633437166。要下载本仓库的副本，可点击“Download ZIP”按钮，或在终端中执行“git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git”命令。（如果你从曼宁网站下载了代码包，请访问GitHub上的官方代码仓库获取最新更新。）

目录与查看建议

请注意，本README.md文件是Markdown（.md）文件。如果你从曼宁网站下载了这个代码包并在本地计算机上查看，建议使用Markdown编辑器或预览器以获得正确的显示效果。如果你还没有安装Markdown编辑器，Ghostwriter是一个不错的免费选择。你也可以在浏览器中访问相关GitHub仓库查看此文件和其他文件，GitHub会自动渲染Markdown。提示：如果你需要安装Python和Python包以及设置代码环境的指导，建议阅读 `setup` 目录中的README.md文件。书中各章节有对应的代码和设置建议，还给出了如何阅读本书的相关信息。

先决条件

最重要的先决条件是具备扎实的Python编程基础。有了这些知识，读者将为探索迷人的LLM世界做好充分准备，并理解本书中呈现的概念和代码示例。如果有一些深度神经网络的经验，可能会发现某些概念更加熟悉，因为LLM是基于这些架构构建的。本书使用PyTorch从头实现代码，不使用任何外部LLM库。虽然熟练掌握PyTorch不是先决条件，但熟悉PyTorch基础知识肯定会有所帮助。如果你是PyTorch的新手，附录A提供了对PyTorch的简要介绍。另外，《PyTorch一小时入门：从张量到多GPU训练神经网络》对学习基础知识很有帮助。

硬件要求

本书主要章节中的代码设计为可以在普通笔记本电脑上在合理的时间内运行，不需要专门的硬件。这种方法确保了广大读者都能参与学习。此外，如果有可用的GPU，代码会自动利用它们。（请参阅设置文档以获取更多建议。）

视频课程

有一个17小时15分钟的配套视频课程，作者会逐章编写代码。该课程的章节和小节结构与本书一致，因此可以作为本书的独立替代品或配套的代码跟随资源。

配套书籍/续集

《从头构建推理模型》虽然是一本独立的书，但可以看作是《从头构建大语言模型》的续集。它从一个预训练模型开始，实现不同的推理方法，包括推理时缩放、强化学习和蒸馏，以提高模型的推理能力。与《从头构建大语言模型》类似，《从头构建推理模型》采用实践方法，从头实现这些方法。

练习

本书每章都包含几个练习。解答总结在附录C中，相应的代码笔记本可在本仓库的主要章节文件夹中找到。除了代码练习，还可以从曼宁网站下载一份免费的170页PDF文件《从头构建大语言模型自我测试》，其中每章包含约30道测验题和解答，帮助测试理解程度。

额外材料

几个文件夹包含了供感兴趣的读者参考的可选额外材料，涉及设置、各章节的不同方面内容，如处理文本数据、编码注意力机制等。来自《从头构建推理模型》仓库也有更多额外材料。

问题、反馈和贡献

作者欢迎各种反馈，最好通过曼宁论坛或GitHub讨论分享。同样，如果你有任何问题或只是想与他人交流想法，请随时在论坛上发布。请注意，由于本仓库包含与纸质书籍对应的代码，目前不能接受会扩展主要章节代码内容的贡献，因为这会与纸质书籍产生偏差。保持一致性有助于确保每个人都有流畅的体验。

引用

如果你发现本书或代码对你的研究有用，请考虑引用它。给出了芝加哥风格引用和BibTeX条目。