xlnet中文文本分类

  $XLNet$ 模型由卡内基梅隆大学与 $GoogleBrain$ 团队在 2019 年 6 月携手推出的 ，其在 20 项 $NLP$ 任务中超过 $BERT$ 模型，且在其中 18 项任务中拿到最优成绩，包括机器问答、自然语言推断、情感分析和文档排序等。同 $BERT$ 一样，我这里就不讲原理了，网上各种博客对 $XLNet$ 的介绍都很详细，感兴趣的可以自己去搜索一下，我这里还是只讲文本分类的应用。
  $XLNet$ 融合了自回归（$AR$，单向语言模型）、自编码（$AE$，双向语言模型）等语言模型特征，采用最先进的 $transformer$ 特征提取器（$transformer-xl$，利用分割循环机制和相对位置编码进行高并发-超长文本处理），开创性地提出了排列语言模型。

自回归语言模型

  自回归（$AR$）是一种使用上下文词来预测下一个词的模型。但是上下文的方向只能使用前向或后向。
  $AR$ 的优势是擅长生成式自然语言处理任务。 因为在生成上下文时，通常是前向的，但是它也有自己的缺点，只能利用上文或者下文的信息，不能同时使用。

自编码语言模型

  自编码（$AE$）采用的就是以上下文的方式，最典型的成功案例就是 $Bert$。通过在输入语句中随机 $Mask$ 掉一部分单词，然后预训练过程的主要任务之一是根据上下文单词来预测这些被 $Mas$