从零开始逐步指导开发者构建自己的大型语言模型（LLM）学习笔记- 第2-4章 Python GPT 代码

本文链接：https://blog.youkuaiyun.com/chenchihwen/article/details/145101954

这段代码实现了一个简单的 GPT 模型，包括数据处理、模型构建、训练和文本生成等功能。以下是对代码的详细解释：

整体结构

代码主要分为以下几个部分：

导入必要的库：导入tiktoken用于文本编码，torch用于深度学习计算，nn用于构建神经网络模块，DataLoader和Dataset用于数据加载和处理。
数据集相关代码：定义了GPTDatasetV1类和create_dataloader_v1函数，用于创建和加载数据集。
多头注意力机制：实现了MultiHeadAttention类，用于计算多头注意力。
归一化、激活函数和前馈网络：定义了LayerNorm、GELU和FeedForward类，分别用于层归一化、GELU 激活函数和前馈网络。
Transformer 块和 GPT 模型：构建了TransformerBlock和GPTModel类，用于组合模型的各个组件。
文本生成函数：实现了generate_text_simple函数，用于生成文本。
主函数：在main函数中，初始化模型、设置参数、进行文本生成，并输出结果。

代码详细解释

数据集相关

GPTDatasetV1类：
- 初始化函数：接收文本txt、分词器tokenizer、最大长度max_length和步长stride作为参数。对输入文本进行分词，然后使用滑动窗口将文本分割成重叠的序列，每个序列长度为max_length。
- __len__方法：返回数据集的样本数量。
- __getitem__方法：根据索引返回输入序列和目标序列。
create_dataloader_v1函数：
- 初始化gpt2分词器，创建GPTDatasetV1数据集，然后使用DataLoader加载数据集。

多头注意力机制

MultiHeadAttention类：
- 初始化函数：接收输入维度d_in、输出维度d_out、上下文长度context_length、丢弃率dropout、头数num_heads和偏置标志qkv_bias作为参数。初始化线性层W_query、W_key、W_value和out_proj，以及掩码和丢弃层。
- 前向传播函数：计算查询、键和值矩阵，将其分割成多个头，计算注意力分数，应用掩码，计算注意力权重，最后计算上下文向量并进行投影。

归一化、激活函数和前馈网络

LayerNorm类：
- 初始化函数：接收嵌入维度emb_dim作为参数，初始化缩放参数scale和偏移参数shift。
- 前向传播函数：计算输入的均值和方差，进行归一化，然后应用缩放和偏移。
GELU类：
- 初始化函数：无参数。
- 前向传播函数：实现 GELU 激活函数的计算公式。
FeedForward类：
- 初始化函数：接收配置字典cfg作为参数，初始化包含两个线性层和一个 GELU 激活函数的前馈网络。
- 前向传播函数：将输入通过前馈网络。

Transformer 块和 GPT 模型

TransformerBlock类：
- 初始化函数：接收配置字典cfg作为参数，初始化多头注意力层att、前馈网络层ff、两个层归一化层norm1和norm2，以及丢弃层drop_shortcut。
- 前向传播函数：通过注意力层和前馈网络层，并添加残差连接。
GPTModel类：
- 初始化函数：接收配置字典cfg作为参数，初始化词嵌入层tok_emb、位置嵌入层pos_emb、丢弃层drop_emb、多个 Transformer 块trf_blocks、最终的层归一化层final_norm和输出层out_head。
- 前向传播函数：将输入索引转换为嵌入，添加位置嵌入，通过 Transformer 块，进行归一化，最后通过输出层得到 logits。

文本生成函数

generate_text_simple函数：
- 接收模型model、当前索引idx、最大新生成令牌数max_new_tokens和上下文大小context_size作为参数。
- 在循环中，根据当前上下文生成预测，选择概率最高的索引，将其添加到当前索引序列中。

主函数

main函数：
- 定义 GPT-124M 模型的配置参数。
- 初始化模型，设置随机种子，将模型设置为评估模式。
- 对输入文本进行编码，调用generate_text_simple函数生成文本，最后对生成的文本进行解码并输出。

运行代码

当脚本直接运行时（if __name__ == "__main__"），main函数会被执行，从而完成模型的初始化、文本生成和结果输出。

# This file collects all the relevant code that we covered thus far
# throughout Chapters 2-4.
# This file can be run as a standalone script.

import tiktoken
import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader

#####################################
# Chapter 2
#####################################


class GPTDatasetV1(Dataset):
    def __init__(self, txt, tokenizer, max_length, stride):
        self.input_ids = []
        self.target_ids = []

        # Tokenize the entire text
        token_ids = tokenizer.encode(txt, allowed_special={"<|endoftext|>"})

        # Use a sliding window to chunk the book into overlapping sequences of max_length
        for i in range(0, len(token_ids) - max_length, stride):
            input_chunk = token_ids