知识图谱de构建与应用（七）：大规模知识图谱预训练

u013250861

已于 2024-02-14 22:31:36 修改

阅读量1.2k

点赞数

分类专栏：知识图谱（Knowledge Graph）文章标签：知识图谱

于 2022-07-16 22:47:38 首次发布

本文链接：https://blog.youkuaiyun.com/u013250861/article/details/125826294

版权

知识图谱（Knowledge Graph）专栏收录该内容

84 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了知识图谱预训练的概念，包括预训练语言模型和知识图谱预训练模型的区别。强调了预训练在商品知识图谱中的重要性，介绍了商品知识图谱静态和动态预训练模型，以及它们在商品分类、对齐、推荐等业务场景的应用。此外，还讨论了知识增强的预训练模型，如SentiLR、ERNIE和K-BERT，以及它们如何融入外部知识以提升模型性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

7.1.4 预训练知识图谱模型与预训练语言模型的区别

7.4.5 基于商品知识预训练的关系抽取与属性补齐

7.4.6 基于商品知识预训练的标题生成

7.5 总结与展望

本章首先介绍预训练知识图谱模型和预训练语言模型的异同点；然后基于商品知识图谱，介绍知识图谱静态预训练模型、知识图谱动态预训练模型的相关研究；最后介绍商品知识图谱的静态和动态预训练技术在业务场景中如何落地，以及相关技术带来的业务效果提升。

7.1 知识预训练概述

知识图谱虽然包含大量有价值的信息，但通常以三元组形式的结构化数据存储，机器无法直接读取和使用。表示学习能将知识图谱中的实体和关系映射到连续空间中用向量表示，并能利用向量的代数运算，很好地建模知识图谱中的结构特征。向量表示被广泛应用在知识图谱相关任务及NLP任务上，且都取得了不错的效果。针对不同的建模任务和目标，相关工作已经提出了不同的知识图谱表示学习方法。随着GPT、BERT、XLNET等预训练语言模型在多项自然语言处理领域任务上刷新了之前的最好效果，预训练受到了各界的广泛关注。预训练在本质上是表示学习的一种，其核心思想是“预训练和微调”方法，具体包括以下步骤：首先利用大量的自然语言数据训练一个语言模型，获取文本中包含的通用知识信息；然后在下游任务微调阶段，针对不同的

了解本专栏

超级会员免费看