知识图谱与语言预训练_biji

本文探讨了ERNIE如何通过结合Wikipedia和WikiData增强语言表示,以及COMET如何使用Commonsense Transformers自动构建知识图谱。此外,还提到了其他如KnowBERT、WKLM和K-Adapter等模型在知识注入和预训练语言表示方面的研究。这些方法旨在通过融合知识图谱信息提升预训练模型的性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. ERNIE: Enhanced Language Representation with Informative Entities. (ACL 2019), Wikipedia作为文本语料输入,WikiData作为知识图谱输入。底层模型对于文本进行建模,高层模型对于知识信息进行整合。
  2. COMET : Commonsense Transformers for Automatic Knowledge Graph Construction.ACL2019
  3. KnowBERT:Knowledge Enhanced Contextual Word Representations. (EMNLP 2019)
    WKLM: Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model. (ICLR 2020). 弱监督方式,给定文本链接到wikidata,将部分文本进行替换,训练时预测文本是否被替换,loss为交叉墒
  4. K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters. (2020)
  5. KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation. (TACL2020)

ERNIE: Enhanced Language Representation with Informative Entities

清华团队,用kg 和bert 结合的方式学习预训练,模型用的Transformer。T-Encoder输入正常的token,K-Encoder层输入token和entity,token和entity进行融合,融合完的结果作为下一层的输入。mask的时候mask掉实体来学习。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值