CoLAKE: 如何实现非结构性语言和结构性知识表征的同步训练

©原创作者 | 疯狂的Max

论文CoLAKE: Contextualized Language and Knowledge Embedding 解读

01 背景与动机

随着预训练模型在NLP领域各大任务大放异彩，一系列研究都致力于将外部知识融入大规模预训练模型，比如ERNIE[1]和KnowBERT[2]，然而这些模型的局限性可以总结为以下三个方面：

（1）entity embedding都是通过一些knowledge embedding（KE） models，比如用TransE[3]，预先提前训练好的。因此模型并不是一个真正的同步训练知识表征和语言表征的综合模型；

（2）只利用了知识图谱中的entity embedding来提升预训练模型，很难完全获取的知识图谱中一个实体丰富的上下文信息。因此对应的效能增益也就局限于预先训练好的 entity embedding的质量。

（3）预训练好的entity embedding是固定的，并且在知识图谱稍作改变时都需要重新训练。针对这三点局限，本文作者提出一种CoLAKE模型，通过改造模型的输入和结构，沿用预训练模型的MLM目标，对语言和知识的表征同时进行同步训练，将其统一在一个一致的表征空间中去。不同于前人的模型，CoLAKE根据知识的上下文和语言的上下文动态的表征一个实体。

为了解决非结构化文本与知识之间的异构性冲突，CoLAKE将两者以一种统一的数据结果将两者整合起来，形成word-knowledge graph，将其作为预训练数据在改造后的Transformer encoder模型上进行预训练。

除此之外，CoLAKE拓展了原始BERT的MLM训练任务，也就是将掩码策略应用的word，entity，relation节点上，通过WK graph未被掩盖的上下文和知识来预测掩盖的节点。

作者在GLUE和一些知识导向的下游任务上进行了实验，结果证明CoLAKE在大多数任务上都超越了原始的预训练模型和其他融合知识图谱的预训练模型。

总结起来，CoLAKE有以下三个亮点：

（1）通过扩展