李沐动手学深度学习V2-BERT微调和代码实现

原创

已于 2022-08-03 01:33:57 修改 · 5.5k 阅读

43 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #bert #bert微调 #bert预训练 #自然语言处理

于 2022-08-03 01:31:55 首次发布

本文详细介绍了如何对预训练的BERT模型进行微调，以适应自然语言推断任务。首先，加载了预训练的BERT模型，然后在SNLI数据集上构建了定制的数据集。微调过程涉及在BERT模型基础上添加一个多层感知机，用于下游任务的输出分类。实验展示了如何使用小版本BERT进行微调，以及如何调整参数以微调更大规模的原始BERT模型。最后，给出了完整的代码实现。

一.BERT微调

1.介绍

自然语言推断是一个序列级别的文本对分类问题，而微调BERT只需要一个额外的基于多层感知机的架构对预训练好的BERT权重参数进行微调，如下图所示。下面将下载一个预训练好的小版本的BERT，然后对其进行微调，以便在SNLI数据集上进行自然语言推断。
BERT微调

2.加载预训练的BERT

在前面博客BERT预训练第二篇：李沐动手学深度学习V2-bert预训练数据集和代码实现和 BERT预训练第三篇：李沐动手学深度学习V2-BERT预训练和代码实现介绍了预训练的BERT（注意原始的BERT模型是在更大的语料库上预训练的，原始的BERT模型有数以亿计的参数）。在下面提供了两个版本的预训练的BERT：“bert.base”与原始的BERT基础模型一样大，需要大量的计算资源才能进行微调，而“bert.small”是一个小版本，以便于演示。

import os
import torch
from torch import nn
import d2l.torch
import json
import multiprocessing
d2l.torch.DATA_HUB['bert.base'] = (d2l.torch.DATA_URL + 'bert.base.torch.zip',
                             '225d66f04cae318b841a13d32af3acc165f253ac')
d2l.torch.DATA_HUB['bert.small'] = (d2l.torch.DATA_URL + 'bert.small.torch.zip',
                              'c72329e68a732bef0452e4b96a1c341c8910f81f')

两个预训练好的BERT模型都包含一个定义词表的“vocab.json”文件和一个预训练BERT参数的“pretrained.params”文件，load_pretrained_model函数用于加载预先训练好的BERT参数。

def load_pretrained_model(pretrained_model,num_hiddens,ffn_num_hiddens,num_heads,num_layers,dropout,max_len,devices):
    data_dir = d2l.torch.download_extract(pretrained_model)
    # 定义空词表以加载预定义词表
    vocab = d2l.torch.Vocab()
    vocab.idx_to_token = json.load(open(os.path.join(data_dir,'vocab.json')))
    vocab.token_to_idx = {
   
   token:idx for idx,token in enumerate(vocab.idx_to_token)}
    bert = d2l.torch.BERTModel(len(vocab),num_hiddens=num_hiddens,norm_shape=[256],ffn_num_input=256,ffn_num_hiddens=ffn_num_hiddens,num_heads=num_heads,num_layers=num_layers,dropout=dropout,max_len=max_len,key_size=256,query_size=256,value_size=256,hid_in_features=256,mlm_in_features=256,nsp_in_features=256)
    # bert = nn.DataParallel(bert,device_ids=devices).to(devices[0])
    # bert.module.load_state_dict(torch.load(os.path.join(data_dir,'pretrained.params')),strict=False)
    # 加载预训练BERT参数
    bert.load_state_dict(torch.load(os.path.join(data_dir,'pretrained.params')))
    return bert,vocab

为了便于在大多数机器上演示，下面加载和微调经过预训练BERT的小版本（“bert.mall”）。

devices = d2l.torch.try_all_gpus()[2:4]
bert,vocab = load_pretrained_model('bert.small',num_hiddens=256,ffn_num_hiddens=512,num_heads=4,num_layers=2,dropout=0.1,max_len=512,devices=devices)

3. 微调BERT的数据集

对于SNLI数据集的下游任务自然语言推断，定义一个定制的数据集类SNLIBERTDataset。在每个样本中，前提和假设形成一对文本序列，并被打包成一个BERT输入序列，片段索引用于区分BERT输入序列中的前提和假设。利用预定义的BERT输入序列的最大长度（max_len），持续移除输入文本对中较长文本的最后一个标记，直到满足max_len。为了加速生成用于微调BERT的SNLI数据集，使用4个工作进程并行生成训练或测试样本。

class SNLIBERTDataset(torch.utils.data.Dataset):
    def __init__(self,dataset,max_len,vocab=None):
        all_premises_hypotheses_tokens = [[p_tokens,h_tokens] for p_tokens,h_tokens in zip(*[d2l.torch.tokenize([s.lower() for s in sentences]) for sentences in dataset[:2]])]
        self.vocab = vocab
        self.max_len = max_len
        self.labels = torch.tensor(dataset[2])
        self.all_tokens_id,self.all_segments,self.all_valid_lens = self._preprocess(all_premises_hypotheses_tokens)
        print(f'read {len(self.all_tokens_id)} examples')
    def _preprocess(self,all_premises_hypotheses_tokens):
        pool = multiprocessing.Pool(4)# 使用4个进程
        out = pool.map(self._mp_worker,all_premises_hypotheses_tokens)
        all_tokens_id = [tokens_id for tokens_id,segments,valid_len in out]
        all_segments = [segments for tokens_id,segments,valid_len in out]
        all_valid_lens = [valid_len for tokens_id,segments,valid_len in out]
        return torch.tensor(all_tokens_id,dtype=torch.long),torch.tensor(all_segments,dtype=torch.long),torch.tensor(all_valid_lens)
    def _mp_worker(self,premises_hypotheses_tokens):
        p_tokens,h_tokens = premises_hypotheses_tokens
        self._truncate_pair_of_tokens(p_tokens,h_tokens)
        tokens,segments = d2l.torch.get_tokens_and_segments(p_tokens,h_tokens)
        valid_len = len(tokens)