深度学习框架d2l中的BERT模型解析：从原理到实现-优快云博客

深度学习框架d2l中的BERT模型解析：从原理到实现

d2l-en d2l-ai/d2l-en: 是一个基于 Python 的深度学习教程，它使用了 SQLite 数据库存储数据。适合用于学习深度学习，特别是对于需要使用 Python 和 SQLite 数据库的场景。特点是深度学习教程、Python、SQLite 数据库。项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en

BERT（Bidirectional Encoder Representations from Transformers）作为自然语言处理领域的里程碑式模型，在d2l深度学习框架中有着详细的实现和讲解。本文将从技术角度深入剖析BERT的核心思想、架构设计和实现细节，帮助读者全面理解这一革命性的预训练语言模型。

上下文表示：从静态到动态的演进

传统词嵌入模型如Word2Vec和GloVe存在一个根本性局限：它们是上下文无关的（context-independent）。这意味着无论单词出现在什么语境中，其向量表示都是固定的。例如，"bank"在"river bank"和"bank account"中具有完全不同的含义，但传统模型无法区分。

上下文敏感表示的开端

为解决这一问题，研究者们开发了上下文敏感（context-sensitive）的表示方法：

ELMo：通过双向LSTM捕获上下文信息，将不同层的LSTM表示进行组合
GPT：基于Transformer解码器，采用自左向右的上下文编码方式
CoVe：利用机器翻译任务的编码器输出作为上下文表示

这些方法虽然取得了进步，但仍存在各自的问题：ELMo需要任务特定架构，GPT只能单向编码上下文。

BERT的革命性设计

BERT的创新之处在于它结合了双向上下文编码和任务无关的架构设计：

双向Transformer编码器：使用多层Transformer编码器堆叠，全面捕获上下文信息
统一的任务处理框架：通过微调（fine-tuning）适应不同下游任务
高效的预训练目标：设计了掩码语言模型和下一句预测两个预训练任务

BERT的输入表示

BERT的输入序列设计精巧，能同时处理单文本和文本对：

单文本输入：[CLS] + 文本tokens + [SEP]
文本对输入：[CLS] + 文本A tokens + [SEP] + 文本B tokens + [SEP]

输入嵌入由三部分组成：

词嵌入：将每个token映射为向量
段嵌入：区分文本A和文本B
位置嵌入：学习得到的位置信息编码

def get_tokens_and_segments(tokens_a, tokens_b=None):
    """获取BERT输入序列的tokens和段ID"""
    tokens = ['<cls>'] + tokens_a + ['<sep>']
    segments = [0] * (len(tokens_a) + 2)
    if tokens_b:
        tokens += tokens_b + ['<sep>']
        segments += [1] * (len(tokens_b) + 1)
    return tokens, segments

BERT编码器实现

BERT编码器基于Transformer架构，但加入了段嵌入和可学习的位置嵌入：

class BERTEncoder(nn.Module):
    def __init__(self, vocab_size, num_hiddens, ffn_num_hiddens, 
                 num_heads, num_blks, dropout, max_len=1000):
        super().__init__()
        self.token_embedding = nn.Embedding(vocab_size, num_hiddens)
        self.segment_embedding = nn.Embedding(2, num_hiddens)
        self.blks = nn.Sequential()
        for _ in range(num_blks):
            self.blks.add_module(str(_), TransformerEncoderBlock(
                num_hiddens, ffn_num_hiddens, num_heads, dropout, True))
        self.pos_embedding = nn.Parameter(torch.randn(1, max_len, num_hiddens))
    
    def forward(self, tokens, segments, valid_lens):
        X = self.token_embedding(tokens) + self.segment_embedding(segments)
        X += self.pos_embedding[:, :X.shape[1], :]
        for blk in self.blks:
            X = blk(X, valid_lens)
        return X

BERT的预训练任务

掩码语言模型（MLM）

MLM任务随机掩盖15%的输入token，并要求模型预测这些被掩盖的token。具体掩盖策略：

80%概率替换为[MASK]
10%概率替换为随机token
10%概率保持原token不变

这种策略避免了预训练和微调时的不匹配问题。

class MaskLM(nn.Module):
    def __init__(self, vocab_size, num_hiddens):
        super().__init__()
        self.mlp = nn.Sequential(
            nn.Linear(num_hiddens, num_hiddens),
            nn.ReLU(),
            nn.LayerNorm(num_hiddens),
            nn.Linear(num_hiddens, vocab_size))
    
    def forward(self, X, pred_positions):
        batch_size = X.shape[0]
        pred_positions = pred_positions.reshape(-1)
        batch_idx = torch.arange(0, batch_size)
        batch_idx = torch.repeat_interleave(batch_idx, pred_positions.shape[0])
        masked_X = X[batch_idx, pred_positions]
        return self.mlp(masked_X)