知识表示模型汇总分析--Trans系列

最新推荐文章于 2025-06-15 08:15:00 发布
最新推荐文章于 2025-06-15 08:15:00 发布
阅读量7.9k 收藏 31
点赞数 5
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LucyGill/article/details/83473397
本文分析了TransE、TransH、TransR、CTransR和TransD等知识图谱表示学习模型，探讨了它们的原理、优缺点及相互之间的关系。TransE通过向量平移建模，而TransH、TransR和CTransR引入超平面和关系空间以处理复杂关系。TransD进一步考虑实体类型，动态映射矩阵以提高表示能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作者：孙天祥
链接：https://zhuanlan.zhihu.com/p/43436288
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

因为还根据自己的理解补充了点儿内容，就标为原创了。下面是正文：
 

近年来，以深度学习为代表的表示学习迅速发展，在很多领域都取得了巨大进展。简而言之，表示学习将要描述的对象表示为低维稠密向量，这也被称为分布式表示，从而有效解决了数据稀疏问题，并且便于在低维语义空间中进行计算。将表示学习应用于知识图谱（Knowledge Graph, KG），即是知识表示学习。

在当前的主流知识库中，知识被存储为 (h, r, t) 的三元组形式，其中 h 表示头实体， r 表示联系， t 表示尾实体。知识表示学习的任务就是学习 h, r, t 的分布式表示（也被叫做知识图谱的嵌入表示(embedding)）。

目前，知识表示学习方法从实现形式上可以分为两类：基于结构的方法和基于语义的方法。基于结构的嵌入表示方法包括TransE, TransH, TransR&CTransR, TransD等，这类方法从三元组的结构出发学习KG的实体和联系的表示；基于语义的嵌入表示方法包括NTN, SSP, DKRL等，这类方法从文本语义的角度出发学习KG的实体和联系的表示。

知识表示学习从发展来看可以分成两个阶段，以2013年Borders等人受Mikolov发现的语义空间中词向量的平移不变现象启发，从而提出了翻译模型(TransE)为分割。在TransE之前，有Structed Embedding, Semantic Matching Energy等模型，在TransE之后，人们在此基础上进行改进，依次提出了TransH, TransR, TransD等模型。接线来介绍基于TransE的改进模型。

作者：孙天祥
链接：https://zhuanlan.zhihu.com/p/43436288
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

TransE


论文：Translating Embeddings for Modeling Multi-relational Data. Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, Oksana Yakhnenko. NIPS 2013.

我们用 h 表示头实体向量，用 t 表示尾实体向量，用 r 表示关系向量，TransE模型的目标就是让 t-h 尽可能地等于 r ，即 t-h\approx r 。其评分函数为：

f_r(h, t) = \lVert h+r-t\rVert _{L_1/L_2}

显然，对于正确的三元组，应该有较低的得分。在训练过程中，使用等级损失函数，这是因为在当前情况下我们没有就标签而言的监督，只有一对正确项 (h,r,t)\in \Delta 和不正确项 (h',r',t')\in \Delta' ，我们的目的是让正确项的得分比不正确项高。这种情况出现在我们只有正例时，知识图谱就是这种情况，我们只知道正确的三元组（golden triplet），再通过破坏一个正例来生成负例。等级损失就适用于这种情况，因此我们定义损失函数：

L = \sum_{(h,r,t)\in \Delta}\sum_{(h',r',t')\in \Delta'}\max (f_r(h,t)+\gamma -f_{r'}(h',t'),0).

上式中的 \gamma 表示正例和负例得分的最小间隔(margin)，实际使用时常取 \gamma=1 .

博主注：

我们的目标是让f(h,t)最小，让f(h',t')最大。开始我觉得上面的公式不对，因为应该是取上式的极小值作为目标函数。后来想了想，上式仅仅是损失函数，表示的是总体损失。式中的max不是对目标函数取max，而是对于每一对正反例，取f(h,t)+v-f(

最低0.47元/天 解锁文章

200万优质内容无限畅学
LucyGill
关注
TransC知识表示模型
Python，数据分析，机器学习，深度学习
07-22 937
DifferentiatingConceptsandInstancesforKnowledgeGraphEmbedding》（2018）提出了一种新的区分概念和实例的知识图谱表示学习方法，将上下位关系与普通的关系做了区分，可以很好的解决上下位关系的传递性问题，并且能够表示概念在空间中的层次与包含关系。向量的和就是信息的积累。但实体和关系可能比这更复杂。将这种关系分为四种不同的关系，即（A，Relation,B），A和B之间的关系为B包含于A,二者无关，二者相交，A包含于B。...
TransE模型学习笔记
Python，数据分析，机器学习，深度学习
07-09 4923
目录一、知识表示学习的引入二、论文摘要三、方法介绍（一）建模多关系数据（二）关系嵌入到向量空间中的翻译四、TransE模型（一）学习实体和关系的低维嵌入向量（二）基于“能量”的计算方法五、算法流程六、实验（一）数据集（二）实验设置（三）链接预测（四）详细结果（五）学习预测新关系七、结论参考文档今天分享的是NIPS 2013的一篇经典论文《Translating Embeddings for Modeling Multi-relational Data》原文连接：https://proceedings.neu
trans系列模型
weixin_43977748的博客
06-14 1671
1.canonical model（典范模型） canonical这个词来源于canon。 没错，就是和洗脑神曲卡农同源。canon本身也是拉丁语单词，意思是律法，带有一定的宗教意味。所以canonical，形象地来说可以解释为是 天选的。 如果一个对象，它出现在这里或者选择这个特定的形式是自然的，顺理成章的，那么就说这是canonical choice（事实上你可以认为这是natural choice的一种酷炫说法）。反之，若存在可能的歧义或混淆，就不能这么说。 举个简单的例子，把一个Topologica
【知识图谱】——8种Trans模型
热门推荐
汤庆
03-23 2万+
知识图谱对实体和它们丰富的关系的结构化信息编码。虽然一个典型的知识图谱可能得到数百万的实体和数以亿计的关系事实，但离补全还很远。知识图谱补全旨在通过现有知识图谱来预测实体之间的关系。知识图谱补全能够找到新的关系事实，这是对从纯文本进行关系抽取的重要补充。知识图谱扫盲：https://www.jiqizhixin.com/articles/2018-06-20-4 在...
trans系列平移距离模型
weixin_47997663的博客
09-07 1503
平移距离模型trans
知识表示和知识建模
qq_17263295的博客
02-26 793
基于王昊奋老师的知识图谱课程pdf总结得来
知识图谱的几个经典模型：TransE、Trans R、ComplEx、ConvKB
guanjian6334的博客
03-23 8608
:::info 💡 这几个模型都是KG表示的经典模型，关于如何对三元组建模Embedding。以下第一个表格是关于各类建模方法中，关系是否能满足一些特性进行的汇总。 ::: 对称性：例如朋友关系。如果有h(r , t)，一定有h(t , r); 反对称性：例如购买关系与出售关系。如果有h1(r, t) ,一定有h2(t ,r); 【h1和 h2是相反方向的一对向量】 传递性：例如亲属关系，父亲的父亲是爷爷。如果有h1(r , t) 和h2(t, y),一定有h3(r , y) 一对N：例如教学关系，一个老
基于知识图谱的Zero-Shot问答：大语言模型的事实锚定新范式
最新发布
llm_way的博客
06-15 846
实现通用型知识增强LLMs仍需跨学科突破：神经符号系统的深度融合、开放域图谱的实时推理、多模态知识的联合表示等。未来的研究可能从生物脑的“陈述性记忆-程序性记忆”机制中获取灵感，构建更接近人类推理的知识调用模型。正如知识图谱之父Tim Berners-Lee所言：“链接数据的终极目标是让机器理解世界的本质”，而KAPING正是这一目标在大语言模型时代的重要实践。
大语言模型融合知识图谱的问答系统研究
weixin_43961909的博客
07-04 1654
问答系统（Question Answering，QA）能够自动回答用户提出的自然语言问题，是信息检索和自然语言处理的交叉研究方向，将知识图谱（Knowledge Graph，KG）与问答系统融合，正确理解用户语义是一大挑战。虽然知识图谱问答能够通过对问题进行分析理解，最终获取答案，但面对自然语言的灵活性与模糊性，如何处理复杂问题的语义信息、如何提高复杂推理问答的高效性仍是研究难点。
知识图谱-知识表示-单模态知识表示模型TransE模型及多模态知识表示模型IKRL
weixin_41234101的博客
06-28 4607
知识表示的目标是将人所了解的知识表示成为计算机也能理解的方式，以帮助处理下游任务。TransE模型的出现掀起了将实体和关系以三元组形式嵌入到低维空间的热潮，但TransE模型仅表示了三元组形式的知识。多模态知识表示将其他形式的知识与三元组形式的知识相结合，以产生更加精确的知识表示。本文将介绍单模态知识表示模型TransE，并基于TransE模型介绍多模态知识表示模型IKRL，使用多模态数据集WN9-IMG实现IKRL，并对IKRL算法进行了评估，认为IKRL模型的效果高于一般的单模态知识表示模型。
TransH论文
12-11
关于TransH的论文，提出了TransH算法，并进行了实验。
【知识图谱】知识表示与知识建模
盛夏光年
08-20 6142
文章目录一、早期知识表示简介1、知识分类2、早期知识表示方法二、基于语义网的知识表示框架1、语义网（Semantic Web）2、RDF（1）RDF（2）RDF空白节点（Black Nodes）（3）RDF是数据类型，不是序列化格式（4）注意（5）变种：带标注RDF 一、早期知识表示简介 1、知识分类 作用范围：常识性知识、领域性知识 作用及表示：事实性知识、过程性知识、控制知识 确定性：确定性...
知识图谱嵌入的Translate模型汇总（TransE，TransH，TransR，TransD）
AI公园
06-11 1万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Xu LIANG编译：ronghuaiyang导读一文打尽图嵌入Translate模型，各种模型的动机，优缺点分析。本文对...
基于翻译的模型-TransE,TransH,TransR,TransD
AiBigData的博客
04-30 2049
基于翻译的模型 TransE模型 TransE认为在知识库中，三元组<h,r,t>可以看成头实体h到尾实体t利用关系r所进行的翻译。 比如，<柏拉图，老师，苏格拉底>头实体“柏拉图”的向量加上关系“老师”的向量，应该尽可能和尾实体“苏格拉底”的向量接近，也就是h+r≈t fr(h,t)=∣∣h+r−t∣∣l1/l2L=∑(h,r,t)∈S∑(h′,r′,t′)∈S′[γ+fγ(h,t)−fr(h′,t′)]+ f_r(\textbf h,\textbf t)=||\tex
知识图谱补全技术-TransE篇
weixin_47482014的博客
05-20 4701
TransE通过将知识图谱中的实体和关系嵌入到低维向量空间，并使用简单的线性变换来表示实体之间的关系，提供了一种有效的方法来处理知识图谱嵌入任务。虽然它在处理复杂关系上存在一定的局限性，但其简单性和高效性使其成为知识图谱嵌入的一个重要基准方法。TransE模型通过将知识图谱中的实体和关系嵌入到低维向量空间，并使用简单的线性变换来表示实体之间的关系，提供了一种有效的知识图谱嵌入方法。虽然在处理复杂关系方面存在一定局限，但其简单性和高效性使其成为知识图谱嵌入的一个重要基准方法。
​知识图谱：基于嵌入的模型（TransE 、TransH、TransR和TransD）
sinat_41942180的博客
03-12 3743
论文提出了一种新的学习知识图谱在低维向量空间的嵌入（embedding）的方法——TransH，在克服了TransE的种种局限性（自反映射/一对多/多对一/多对多）的同时，继承了TransE的高效性。经过广泛的实验后，实验表明TransH的效果相较TransE有了很可观的提升，同时论文提出的减少错误负采样标签的Trick也被证明是有效的。但同时本论文同样存在自己的局限性，虽然TransH模型克服了TransE的部分局限性，
知识表示--trans系列
盘一哈nlp
07-12 1554
知识图谱（知识表示）--Trans系列基础知识TransE（Translating Embeddings for Modeling Multi-relational Data（2013））TransH（Knowledge Graph Embedding by Translating on Hyperplanes（2014））TransR（Learning Entity and Relation E...
TransH
vincent_duan的专栏
05-31 1039
为了解决TransE模型在处理一对多 、 多对一 、多对多复杂关系时的局限性，TransH模型提出让一个实体在不同的关系下拥有不同的表示。如下公式所示，对于关系rrr，TransH模型同时使用平移向量rrr和超平面的法向量wrw_rwr​来表示它。对于一个三元组(h,r,t)(h, r, t)(h,r,t) , TransH首先将头实体向量hhh和尾实体向量rrr，沿法线wrw_rwr​，映射关系rrr对应的超平面上，用h⊥h_\perph⊥​和t⊥t_\perpt⊥​表示如下: h⊥=h−wr⊤hwrt⊥
知识表示学习（三）：TransR
u013010473的博客
08-15 5179
TransR
Transformer-UNet模型基础知识
03-25
### Transformer-UNet 模型原理与架构 Transformer-UNet 是一种融合了变压器（Transformer）和 U 形网络（UNet）结构的深度学习模型，旨在解决医学图像分割中的复杂问题。以下是该模型的核心概念及其架构设计。 #### 1. 背景与动机 传统的 UNet 结构主要依赖于卷积神经网络（CNN），擅长捕获局部特征，但对于全局上下文的理解有限。相比之下，Transformer 的多头自注意力机制能够有效建模长距离依赖关系[^1]。因此，将两者结合起来的设计思路应运而生，既保留 CNN 对细节的关注，又利用 Transformer 提取全局信息的能力。 #### 2. 架构概述 Transformer-UNet 的整体框架通常遵循经典的 U 形结构，由编码器、瓶颈层以及解码器组成。具体来说： - **编码器部分** 编码器负责逐步降低输入的空间分辨率，同时增加通道数以提取高层次语义特征。在 Transformer-UNet 中，这一阶段可能采用视觉 Transformer（Vision Transformer, ViT）来替代传统 CNN 层次。例如 TransUnet 使用 ViT 进行特征提取，而 Swin-UNet 则通过分层窗口划分策略实现更高效的计算[^2]。 - **瓶颈层** 此处连接编码路径与解码路径，起到过渡作用。它允许模型集中处理最抽象级别的表示形式，并准备将其传递给后续恢复过程。 - **解码器部分** 解码器的任务是从低维空间重建高分辨率输出。为了增强性能表现，某些变体可能会加入跳跃连接（skip connections），使得来自早期编码阶段的信息可以直接参与最终预测结果生成过程中去。这些额外链接有助于保持边界清晰度并减少误差传播效应。 #### 3. 关键组件详解 ##### (1) 多头自注意机制(Multi-head Self Attention) 这是 Transformers 的核心组成部分之一，能够让模型关注到不同位置之间的相互影响程度大小不一的情况之下仍然做出合理判断决策。每个头部独立工作之后再汇总起来形成综合考量后的结论意见表达出来供下一步操作参考依据之用。 ##### (2) 基于窗口的方法(Window-based Approach) 像 Swin-Transformers 那样引入固定大小滑动窗格的概念来进行局部区域内部节点间关联强度评估运算方式，则可以在一定程度上缓解完全展开全图范围内的点对点交互所带来的巨大开销压力问题的同时还兼顾到了一定尺度下的邻域特性描述需求满足情况良好效果明显优于单纯依靠标准 MHSA 实现方案版本的表现水平差距显著可见一斑。 ```python class WindowAttention(nn.Module): """Window based multi-head self attention""" def __init__(self, dim, window_size, num_heads): super().__init__() ... def forward(self, x): # Implementation of W-MSA or SW-MSA here. pass ``` ##### (3) 并行编码结构(Parallel Encoding Structure) 一些改进版如 TransFuse 同时部署两条平行线路分别对应执行各自特定功能职责所在领域范畴之内任务完成状况较好实例展示如下所示代码片段所呈现出来的样子就是其中之一种典型代表作而已: ```python class TransFuse(nn.Module): """Fusion model combining both ViT and CNN features.""" def __init__(self, img_size=224, patch_size=16, embed_dim=768, depth=12,...): super().__init__() ... def forward(self, x_cnn, x_trans): # Fuse outputs from two branches appropriately. fused_output = torch.cat([x_cnn, x_trans], dim=1) return final_layer(fused_output) ``` #### 4. 性能比较分析 根据不同实验设置条件下得出的结果表明，在较大规模样本集合上面训练得到权重参数初始化完毕以后测试验证环节当中往往倾向于选择那些基于转换器构建而成的新颖设计方案取得更好一点的成绩排名靠前位置占据较多份额比例较高情形较为普遍常见现象存在其中值得注意的是尽管如此有时候也可能因为过度追求理论上的优越性而导致实际应用场景里面遇到困难挑战增多反而不如稍微简化一点的传统做法更加实用可靠稳定高效等等诸多方面因素都需要考虑进去才行[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值