语言智能技术笔记簿

导读：今天为大家解读一篇复旦大学邱锡鹏老师课题组的研究论文《How to Fine-Tune BERT for Text Classification?》。这篇论文的主要目的在于在文本分类任务上探索不同的BERT微调方法并提供一种通用的BERT微调解决方法。这篇论文从三种路线进行了探索：(1) BERT自身的微调策略，包括长文本处理、学习率、不同层的选择等方法；(2) 目标任务内、领域内及跨领域的进一步预训练BERT；

导读：今天给大家解读一篇关于BERT模型研究的综述类论文《A Primer in BERTology: What we know about how BERT works》。基于Transformer的模型已经被证实可以有效地处理从序列标记到问题解答等不同类型的NLP任务，其中一种称为BERT的衍生模型得到了广泛使用。但是，我们对其内部运作知之甚少。这篇论文就是旨在尝试回答一些有关BERT为什么...

导读：今天分享一篇华人学者发表在顶会ICLR 2020上的论文《Encoding Word Order in Complex Embeddings》，主要对序列建模的位置信息编码方法进行研究。可以阅读先前的文章《一文读懂Transformer模型中的位置编码》对其中的一种位置信息编码方式的深入分析。本文认为先前的方法需要独立训练每个位置向量，而且也不能建模序列的邻接或者优先关系。本文把这种问题称...

欢迎关注DestinedAI微信公众号导读：今天分享一篇美国东北大学NLP实验室发表在NAACL 2019上的研究论文。与《一起读论文|挖掘同行评审意见的价值》一样，这篇论文也研究同行评审过程。但与之不同的是，这篇论文主要从Argument Mining的角度来理解同行评审意见的内容与结构。在这篇论文中，作者发布了AMPERE数据集，用最先进的模型在该数据集上进行了Proposition分...

导读：今天分享一篇来自CMU、艾伦AI研究院和华盛顿大学合作的论文《A Dataset of Peer Reviews (PeerRead): Collection, Insights and NLP Applications》[1]，聚焦在科学文献发表过程中的同行评审机制的研究工作。作者公开了一份研究数据集，详细阐述了数据收集过程，对其做了一些统计分析，更重要的是为其引入了两个NLP任务并公开了基准模型及实验结果。他们还探讨了一些基于该数据集上进行的可能的NLP应用。内容充实，分析全面。