bert系列模型继续预训练(Pytorch)

1、前言

在数据脱敏比赛或者某些垂类领域中，使用该领域的文本继续预训练，往往可以取得一个更好的结果。这篇文章主要讲我目前使用过的两种预训练方法。

2、两种训练框架

（1）采用transformer中Trainer

可根据实际情况，通过 model.resize_token_embeddings(len(tokenizer)) 重新定义词表的大小。

输入data格式为：以每行一个文本为单位进行mask，具体mask策略在DataCollatorForLanguageModeling中，可根据需要自行修改。

（2）采用涂涂乐大佬开源的方法

首先使用prepare_lm_data_mask.py生成mask数据，具体mask策略可在这进行更改；
输入data格式为：一行一个句子,同一文章的句子用’\n’分割；不同文章之前用’\n\n’分隔（即空一行）。

然后使用run_pretraining.py继续预训练即可。

3.总结

如果预训练xlnet、albert等系列模型，只需要修改对应的mask格式，将***ForMaskedLM换成对应的模型即可（transormers中基本都有，nezha模型可参考github ）。