当AI学会共情，港科大新研究赋予Chatbot同理心 | 一周AI最火论文

大数据文摘专栏作品

作者：Christopher Dossman

编译：Jiaxu、fuma、云舟

呜啦啦啦啦啦啦啦大家好，拖更的AI Scholar Weekly栏目又和大家见面啦！

AI ScholarWeekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。

每周更新，做AI科研，每周从这一篇开始就够啦！

本周关键词：虚假新闻识别、3D打印人体器官、Chatbot

本周最佳研究

BERT预训练更改，最终任务性能提高

RoBERTa（稳健优化的BERT预训练方法）是Paul G. Allen计算机科学与工程学院的研究人员最近发表的一篇论文。他们展示了BERT预训练的复制研究，该研究仔细研究了许多关键超参数和训练数据大小的影响。

在发现BERT的不足之后，他们提出了一种改进BERT的方法。具体来说，RoBERTa采用动态屏蔽FULL-SENTENCES进行训练，没有NSP损失大型小批量和更大的字节级BPE。

他们做出了以下四点修改:

• 训练模型的时间更长，批量更大，数据更多

• 删除了预测下一个句子的目标

• 训练更长的序列

• 动态更改应用于训练数据的遮罩模式

RoBERTa可以匹配或超过所有后BERT方法的性能，并在GLUE，RACE和SQuAD上实现了最优越的结果。