本文简要介绍XLNET语言模型，并通过Keras在15分钟内实现一个文本分类模型。XLNET结合了自回归和自编码模型的优点，通过Permutation Language Model解决单向信息利用问题。实战部分包括模型准备、数据预处理、模型构建和微调。
今天笔者将简要介绍一下后bert 时代中一个又一比较重要的预训练的语言模型——XLNET ，下图是XLNET在中文问答数据集CMRC 2018数据集（哈工大讯飞联合实验室发布的中文机器阅读理解数据，形式与SQuAD相同）上的表现。我们可以看到XLNET的实力略胜于BERT。
XLNET 的一些表现
这里笔者会先简单地介绍一下XLNET精妙的算法设计，当然我尽量采用通俗的语言去表达那些深奥的数学表达式，整个行文过程会直接采用原论文的行文流程：Observition—>Motivition—>Contribution。然后我会介绍一下如何用python在15分钟之内搭建一个基于XLNET的文本分类模型。
XLNET的原理
Observision
XLNET的原论文将预训练的语言模型分为两类
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
