前一阵子Bert火的一塌糊涂，本以为会占据顶峰很长一段时间，结果还没多久就出现的了GPT-2，它不仅效果显著，而且还解决了Bert无法解决的生成文本的问题，一下子跃上神坛~其实，GPT-2与GPT一样，都使用的是单向语言模型，那为何GPT-2的效果会如此惊人呢？惊人之处又体现在哪里呢？且听我慢慢道来~传送门GPT原文：https://s3-us-west-2.amazonaws.com...

在过去的一年中，BERT、Transformer XL、XLNet 等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录，可谓你方唱罢我登场。其中，GPT-2 由于其稳定、优异的性能吸引了业界的关注https://zhuanlan.zhihu.com/p/79714797https://jalammar.github.io/illustrated-gpt2/选自http...