每周一起读 × 招募 | ACL 2019：基于知识增强的语言表示模型

最新推荐文章于 2022-04-08 14:53:55 发布

转载最新推荐文章于 2022-04-08 14:53:55 发布 · 344 阅读

640

”每周一起读“是由 PaperWeekly 发起的论文共读活动，我们结合自然语言处理、计算机视觉和机器学习等领域的顶会论文和前沿成果来指定每期论文，并且邀请论文作者来到现场，和大家展开更有价值的延伸讨论。

我们希望能为 PaperWeekly 的各位读者带来一种全新的论文阅读体验、一个认识同好、找到组织的契机、一次与国际顶会论文作者当面交流的机会。

6 月 16 日（周日）下午 2 点，“每周一起读”将邀请清华大学计算机系本科生张正彦和博士生韩旭，和大家分享他们发表于自然语言处理顶级会议 ACL 2019 的最新文章。论文提出了一个基于知识增强的语言表示模型 ERNIE，可以从大规模的文本语料和先验知识丰富的知识图谱中学习到字、词、句以及知识表示等内容。

640?wx_fmt=png

01 # 本期嘉宾

张正彦

清华大学计算机系本科生

张正彦，清华大学计算机系本科生，来自清华大学自然语言处理组，由刘知远副教授指导，主要研究方向为自然语言处理中的无监督文本表示学习方法。目前已在自然语言处理国际会议 ACL 上发表论文。

韩旭

清华大学计算机系博士生

韩旭，清华大学计算机系博士生二年级，来自清华大学自然语言处理组，由刘知远副教授指导，主要研究方向为自然语言处理及信息抽取。目前已在人工智能、自然语言处理等领域国际会议 ACL，EMNLP，NAACL，COLING，AAAI 发表相关论文多篇，在 Github 上维护开源工程多项。

02 # 本期论文

ACL 2019

640?wx_fmt=png

Abstract: Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

论文解读：基于知识增强的语言表示模型

03 # 活动信息

时间：6 月 16 日（周日） 14:00–16:00

地点：北京智源人工智能研究院102会议室

北京市海淀区中关村南大街1-1号

中关村领创空间（信息谷）

640?wx_fmt=jpeg