transformers BERT等模型在自己的数据集上fine-tune方法

Intro

BERT等预训练语言模型能力很强，但官方发布的模型在预训练时用的语料并不一定与你具体任务的语料相似，因此可能造成具体任务上的效果一般。这时候，将预训练语言模型在你自己的语料上再次fine-tune（Masked Language Model等任务），能够进一步提升效果。本文将介绍fine-tune的基本方法。
本文针对PyTorch的库transformers的模型。

方法

Transformers官方很贴心的提供了代码，只要运行就行了。代码和说明在这里（https://github.com/huggingface/transformers/tree/master/examples/language-modeling）。
官方说明还算清晰易懂，需要补充说明的是以下：

• 自己的语料弄成文本文件。如果是多个句子/段落，可以弄成一行一个，在运行时添加--line_by_line参数。如果不加这个参数，脚本会将所有内容按照固定长度切分。
• 可能会报错“datasets”库找不到，pip安装就行。

以上。