到山顶去看看！

第一个任务是Mask LM（MLM），为了解决GPT完全舍弃下文的问题，不再进行整个句子的预测而是对某个词去做预测，首先屏蔽一定百分比的词，然后通过模型实现对屏蔽词的预测，来进行训练。二是预测的是屏蔽掉的是词而非句子，会使整个句子预训练的收敛速度更慢。N-gram是自然语言处理领域中具有显著历史意义的特征处理模型，基本思想是将文本内容按照字节大小为N的滑动窗口进行操作，形成长度是N的字节片段序列，然后对所有的序列的出现频度进行统计，并且按照实现设定好的阈值进行过滤，形成了这个文本的特征向量空间。