从零开始逐步指导开发者构建自己的大型语言模型（LLM）学习笔记-0 入学准备

从零构建大型语言模型（完整版）

这个仓库包含了用于编码、预训练和微调类似GPT的LLM的代码，并是书籍《从零构建大型语言模型》的官方代码库。

从零开始逐步指导开发者构建自己的大型语言模型（LLM）学习笔记- 第1章-优快云博客文章浏览阅读60次，点赞3次，收藏5次。开发阶段构建（Building）：准备数据集，实现注意力机制和模型架构相关的编码。预训练（Pre - training）：在大型数据集上训练模型，形成基础模型，并评估和保存模型权重。微调（Fine - tuning）：根据特定任务（如分类、问答、创建聊天机器人）对模型进行调整，利用特定的指令数据集。当前应用场景公共或专有服务：如通过公共 API 访问 ChatGPT 和 Gemini 等。本地运行自定义模型：利用开源模型（如 Llama 3）在本地与模型交互。在外部服务器上部署自定义模型。https://blog.youkuaiyun.com/chenchihwen/article/details/144919477?spm=1001.2014.3001.5501

真有趣，在 github上的线上书本，

1. 从GitCode - 全球开发者的开源社区,开源代码托管平台 下载内容

git clone https://gitcode.com/gh_mirrors/ll/LLMs-from-scratch.git

该项目是《从零构建大型语言模型》一书的官方代码库，旨在指导开发者从底层开始编写代码，逐步构建类似GPT的大型语言模型（LLM）。书中详细介绍了如何处理文本数据、编码注意力机制、实现GPT模型、预训练以及微调等步骤，并提供了相应的代码示例和练习。项目适合对自然语言处理和深度学习感兴趣的读者，旨在帮助他们深入理解LLM的工作原理和开发过程.

关键段落

• 项目背景与目的: 该项目是《从零构建大型语言模型》一书的官方代码库，旨在帮助开发者从底层开始编写代码，逐步构建类似GPT的大型语言模型（LLM）。通过详细的步骤和原理说明，使读者能够深入理解并实践LLM的开发过程.
• 书籍内容概述: 书中通过清晰的文字、图表和例子，指导读者创建自己的LLM。包括处理文本数据、编码注意力机制、实现GPT模型、在未标注数据上的预训练、微调文本分类任务以及基于人类反馈的微调等章节内容.
• 代码与资源: 项目提供了丰富的代码示例和练习，涵盖从基础的文本数据处理到复杂的模型