text&KG:ERNIE: Enhanced Language Representation with Informative Entities
paper:https://arxiv.org/pdf/1905.07129.pdf
code:https://github.com/thunlp/ERNIE
KG中rich structured knowledge能够帮助跟好的理解句子,但是目前的预训练语言模型基本上都只考虑了rich semantic patterns。于是,本文结合text和KG训练了一个enhanced language representation model (ERNIE)。
要融合text和KG将会面临两个主要挑战:
Str
原创
2020-07-09 16:10:14 ·
453 阅读 ·
1 评论