Jasminexjf的博客

今天开始对HTML文件的处理，主要根据Python自然语言处理这本书籍。1.实现对本地文件的读取和可视化过程。>>> f=open('try111.txt',encoding='utf-8')>>> raw=f.read()>>> print(raw)或者对于需要换行输出的文本（即需要删掉原有的换行符），可以执行如下操作f=open('tr...

今年6月底CMU和谷歌新提出了一个预训练模型，在效果和算力上都远远超过18年年底发表的BERT预训练和模型，也优于今年年初提出的GPT-2预训练模型。但该文章主要从Autoregressive(AR) lanuage modeling 和 Autoencoding(AE) pre-training 这两个角度入手进行比较，并结合他们各自的优点，规避他们的缺点，进而了一种泛化自回归语言建模方法。...

看这篇阅读笔记之前，可以看一下以下这篇前言，不仅从performance方面分析了XLNet的效果，也从算力和时间消耗方面分析该工作：一份有趣的 XLNet 阅读笔记前言 摘要(Abstract)与基于自回归语言建模(AR LM)的预训练语言建模方法相比，基于降噪自编码...