BERT可以增加哪些预训练任务？

BERT基于NSP和MLM两个任务进行预训练，如果对BERT进行改进，一个可行的方向就是增加更多的预训练任务，那么除了这两个任务之外，还可以增加哪些预训练任务呢？

可以增加的预训练任务有一个前提，就是这些任务的训练数据要能从无监督的数据中获取，这样才能获取到海量的数据，符合这一要求的任务可以进行尝试。

提供一些预训练任务的思路：

1.Capitalization Prediction Task
预测单词是否大写。与其他词语相比，大写词语通常具有特定的语义价值。

2.Token-Document Relation Prediction Task
预测一个段落中的某个token是否出现在原始文档的其他段落中。
在文档不同部分都出现的单词通常是文档中的关键词，因此这一任务可以在一定程度上使模型能够捕获文档的关键字。

3.Sentence Distance Task
学习句子间距离的任务。该任务被建模为一个3分类的问题，“0”表示两个句子在同一个文档中相邻；“1”表示两个句子在同一个文档中，但不相邻；
“2”表示两个句子来自两个不同的文档。