Hierarchical attentive knowledge graph embedding for personalized recommendation

原创 于 2023-09-20 21:20:59 发布 · 264 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#知识图谱 #embedding #人工智能

本文提出了一种新颖的模型HAKG，利用层次关注的子图嵌入来捕获知识图谱中用户-物品连接的丰富语义和拓扑结构，有效减少噪声，提升个性化推荐的准确性。模型包括子图构建、实体嵌入学习（通过分层传播和自注意力机制）以及子图嵌入学习，最终用于偏好预测。

Hierarchical attentive knowledge graph embedding for personalized recommendation

文章目录

1. 背景

KG可以为user和物品之间的交互提供丰富的补充信息。大多数现有的方法都不足以利用KG来捕获用户偏好，因为它们要么通过具有有限表达性的路径来表示用户-物品的连接，要么通过在整个KG上传播信息来隐式地建模，并带有不可避免的噪声。因为基于路径的方法的线性路径只能捕获用户-物品连接的部分语义，而用户-物品连接最初是由具有丰富语义和非线性拓扑的子图表示的。基于传播的方法不是直接表示用户-物品连接性，而是通过在整个KG上传播信息来隐式地对它们进行建模，其中用户偏好通常是通过聚合来自所有邻居的信息来学习的，会引入与目标物品无关的噪声。

因此作者设计看HAKG利用知识图嵌入进行有效的推荐。HAKG探索了连接KGs中用户-物品项目对的子图，以表征它们的连通性，这在概念上优于大多数现有方法，因为:(1)作为独立路径的非线性组合，子图包含KGs的丰富语义和拓扑，比线性路径更具表现力；(2)子图只保留与特定用户-物品连通性相关的实体和关系，这能够避免从整个KG引入噪声。

HAKG旨在有效地将子图的综合信息编码为低维表示(即嵌入)，以更好地揭示用户偏好。子图编码是通过分层关注嵌入学习过程实现的，该过程包含两个核心步骤:(1)实体嵌入学习，通过分层传播机制学习子图中实体的嵌入。特别是，每一层基于从其邻居传播的语义更新实体嵌入，并且多层堆叠以将子图拓扑编码为学习到的实体嵌入;(2)子图嵌入学习，对实体嵌入进行聚合，得到整体子图嵌入。我们采用一种新的自注意机制来区分子图中实体的重要性，从而学习一种有效的子图嵌入，以更好地表示用户-项目的连通性。

2. 模型

在这里插入图片描述

2.1 子图构建

将子图挖掘转换为路径采样，然后组装user-item对之间的采样路径去重建子图。

  • Path Sampling
    统一采样连接user与item对的K条路径，每条路径的长度不超过6。
  • Path Assembling
    通过组合(u,i)的采样路径，得到(u,i)的子图。将路径中的object和connect映射道关系和实体。

2.2 Hierarchical attentive subgraph encoding

两个挑战：子图中有丰富的语义信息和高阶拓扑信息，以及不同实体对传播用户偏好的重要性。

分层嵌入学习过程包括：（1）实体嵌入学习，通过分层传播机制利用子图的语义和拓扑，从而学习子图中实体的有效嵌入；（2）子图嵌入学习，将实体嵌入集中起来，得到整体子图嵌入，其中利用自注意机制来区分实体的重要性。

2.2.1 实体嵌入学习

主要包括三种操作：嵌入初始化、语义传播和语义聚合。

  • Embedding Initialization

首先采用Embedding-lookup 层，找到每个实体及实体类型对应的低维嵌入向量，再将这两个向量拼接起来。
在这里插入图片描述

  • Semantics Propagation

KG中来自各种关系的丰富语义信息对理解不同用户的意图很重要，因此作者再传播过程中对异构关系进行显示建模。
在这里插入图片描述
HAKG从各种实体和关系中充分编码子图的丰富语义，有助于更好的实体嵌入学习。

  • Semantics Aggregation

语义聚合操作聚合来自邻居的语义，以细化目标实体的嵌入。
在这里插入图片描述
最终得到的实体嵌入为：
在这里插入图片描述
然后进一步对子图构造实体嵌入矩阵：
在这里插入图片描述

2.2.2 子图嵌入学习

子图嵌入学习通过集中实体嵌入生成整体子图嵌入，其中利用自注意力机制区分子图中实体的重要性以增强嵌入学习。

  • 自注意力机制
    对于有n个实体的子图，自注意力机制以实体嵌入矩阵作为输入，通过注意力网络输出图中实体的重要性：

在这里插入图片描述
其中m是注意力头数，n是子图中的实体个数。

基于注意力得分，推导出子图的嵌入：
在这里插入图片描述

2.3 偏好预测

在这里插入图片描述

Knowledge graph embedding with hierarchical relation structure
羊城迷鹿的博客
01-04 1193
研究问题 利用知识图谱中关系的层次结构来提升模型的性能 背景动机 传统方法直接将关系转换为向量表示，没有利用到其中的层次结构信息 论文认为知识图谱中的关系有三层层次结构：relation clusters, relations and subrelations。语义上相似的relation如 producerOf和directorOf都描述了某人和电影间的关系，就可以构成relation clusters，从而形成知识共享；subrelations指的是同一relation的不同语义，比如partOf在(
Controllable Multi-Interest Framework for Recommendation
weixin_41697507的博客
07-23 3664
Controllable Multi-Interest Framework for Recommendation ABSTRACT Recently, neural networks have been widely used in e-commerce recommender systems, owing to the rapid development of deep learning. We formalize the recommender system as a sequential recom
知识图谱论文阅读（十三）【2020 arXiv】Attentive Knowledge Graph Embedding for Personalized Recommendation
qq_35222729的博客
08-31 1278
题目： Attentive Knowledge Graph Embedding for Personalized Recommendation 论文链接： 代码链接： 知识图谱特征学习在推荐系统中的应用步骤大致有以下三种方式： BPThrough Time 【5】Backpropagation: theory, architectures, and applications.（BPTT） 处理数据集 【4】Personalized recommendations using knowledge grap.
Knowledge Graph Embedding with Hierarchical Relation Structure
12-22
Knowledge Graph Embedding with Hierarchical Relation Structure 阅读报告
Representation Learning of Knowledge Graphs with Hierarchical Types
weixin_44466434的博客
10-23 1180
层次类型知识图的表示学习
论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
记录学习历程
11-28 1059
现有的知识图嵌入模型主要关注对称/反对称、反转和复合symmetry/antisymmetry, inversion, and composition等关系模式的建模。然而，许多现有的方法无法对建模。
【论文解读 ArXiv 2019 | HAHE】Hierarchical Attentive Heterogeneous Information Network Embedding
byn12345的博客
03-12 1682
论文链接：https://arxiv.org/abs/1902.01475 代码链接：https://github.com/zhoushengisnoob/HAHE 来源：ArXiv 2019 文章目录1 摘要2 介绍2.1 现有方法的不足2.2 作者提出2.3 贡献3 HAHE模型3.1 Path instance attention layer3.2 Meta path attention...
【论文精读】Hierarchical Reinforcement Learning for Course Recommendation in MOOCs 2019 AAAI
JinyuZ1996的博客
12-30 3344
【小干货】一篇分层强化学习推荐模型的论文分析 　　本文通过论文精读，介绍了一下分层强化学习技术的细节，论文传送门贴在最下方。该论文是发表在AAAI 2019的顶会论文，想用分层强化学习改善推荐模型的同学都可以来学习一下，码字不易喜欢的话可以评论交流。 　　其实本来我关注的模型复杂度都比较简单的，也是最近在导师的影响下，才开始研究这篇分层强化学习的paper，收获很大，文章难度适中，在这里给大家写一写我对它的分析，希望能帮的上忙，让大家学习得更快一点（PS：我之前刚开始学习的时候搜过还没有人分析过这篇pa
【CIKM 2021】推荐系统相关论文分类
发现问题，并解决问题，批判性思维
01-12 2593
第30届国际信息与知识管理大会（The 30th ACM International Conference on Information and Knowledge Management, CIKM 2021）计划于2021年11月1日-11月5日在线召开。ACM CIKM是CCF推荐的B类国际学术会议，是信息检索和数据挖掘领域最重要的学术会议之一。这次会议共收到1251篇长文（Full paper）、290篇应用文（Applied paper）和626篇短文（Short paper）投稿，有271篇长文、
SIGIR2020推荐系统论文聚焦
张小磊的博客
06-09 3554
目录前言推荐论文列表前言第43届国际信息检索研究和发展大会（SIGIR）将于2020年7月25-30日在美丽的中国西安举行。此次大会共收到了555篇长文投稿，录用147篇，长文录取率26...
HAKE笔记：Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
zzflybird的博客
03-07 4390
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction 0. 前言 1. 作者试图解决什么问题？ 作者想在KGE中对语义层级（semantic hierarchies）进行建模。 2. 这篇论文的关键元素是什么？ 语义层次（semantic hierarchy）, 极坐标系（polar coordinate system） 3. 论文中有什么内容可以“为你所用”？ 两种可视化的展示方式（分布直方图和极坐标点图），清晰明
HittER: Hierarchical Transformers for Knowledge Graph Embeddings
Ohh_ckx的博客
11-25 1518
HittER: Hierarchical Transformers for Knowledge Graph Embeddings
[论文阅读笔记17]A Survey on Knowledge Graph-Based Recommender Systems
ld326的专栏
02-19 5053
一，题目 TKDE 2020 A Survey on Knowledge Graph-Based Recommender Systems 综述：基于知识图谱的推荐系统 In IEEE Transactions on Knowledge and Data Engineering (IEEE TKDE), 2020 doi: 10.1109/TKDE.2020.3028705. 二，作者 Qingyu Guo, Fuzhen Zhuang, Chuan Qin, Hengshu Zhu, Xing Xie, H
CVPR2020_Hierarchical Feature Embedding for Attribute Recognition详解
DRACOYU的博客
12-17 1549
摘要 由于视点变化、光照变化和外观变化等原因，属性识别是一项重要而又具有挑战性的任务。以往的工作大多只考虑属性级特征嵌入，在复杂的多类别识别条件下性能较差。为了解决这一问题，我们提出了一种层次特征嵌入(HFE)框架，该框架通过结合属性和ID信息学习细粒度特征嵌入。在HFE中，我们同时维护了类间和类内特征的嵌入。将具有相同属性的样本和具有相同ID的样本更紧密地聚集在一起，限制了视觉上的难样本在属性方面的特征嵌入，提高了对变化条件的鲁棒性。我们利用由属性和ID约束组成的HFE loss建立了该层次结构。我们还
embedding层_深度学习推荐系统中各类流行的Embedding方法（上）
weixin_39530833的博客
11-07 1471
本文首发于我的微信公众号里，地址：https://mp.weixin.qq.com/s/D57jP5EwIx4Y1n4mteGOjQ我的个人微信公众号：Microstrong微信公众号ID：MicrostrongAI公众号介绍：Microstrong(小强)同学喜欢研究数据结构与算法、机器学习、深度学习等相关领域，公众号一直以来坚持原创，分享自己在计算机视觉、自然语言处理等方向的读书笔记。希望同大...
【知识图谱】——8种Trans模型
热门推荐
汤庆
03-23 2万+
知识图谱对实体和它们丰富的关系的结构化信息编码。虽然一个典型的知识图谱可能得到数百万的实体和数以亿计的关系事实，但离补全还很远。知识图谱补全旨在通过现有知识图谱来预测实体之间的关系。知识图谱补全能够找到新的关系事实，这是对从纯文本进行关系抽取的重要补充。知识图谱扫盲：https://www.jiqizhixin.com/articles/2018-06-20-4 在...
论文笔记：Hashtag2Vec: Learning Hashtag Representation with Relational Hierarchical Embedding Model
Learning from the mistakes
11-25 1311
感想 这是一片IJCAI 2018的论文，一开始看到这个东西的时候，我感觉还是比较新的，把社交网络的hashtag和tweet的网络结构融入到embedding中，做了一个network embedding和content结合的东西。这应该是我2018年看得比较好的hashtag方面的论文了。希望后面有跟多关于这方面的论文，因为本人也是研究社交网络里面的hashtag的。目前还没有找到开源的源代...
论文阅读理解 - Zero-shot Image Tagging by Hierarchical Semantic Embedding
长风破浪会有时，直挂云帆济沧海
09-05 2674
Zero-shot Image Tagging by Hierarchical Semantic Embedding [Code] 许多细粒度视觉类别的标签获取较为困难，zero-shot 图像标注(image tagging) 旨在采用训练样本中不存在的新标签来标注图像. 现在通常做法是，采用神经语言模型(neural language model) 训练得到语义空间，将图像和标签投影到...
知识图谱(Knowledge Graph,KG)概览
SoftV的博客
10-27 1397
内容目录1.知识图谱基本概念知识图谱概念演化知识图谱本质知识图谱功能2.知识库相关项目3.知识图谱技术知识图谱技术体系知识表示知识抽取知识存储知识问答知识推理知识融合知识众包4.典型案例5.总结 1.知识图谱基本概念 最早起源于Google Knowledge Graph。知识图谱本质上是一种语义网络。其结点代表实体（entity）或者概念（concept），边代表实体/概念之间的各种语义关系。...
Learning a Hierarchical Embedding Model for Personalized Product Search.
最新发布
12-26
### Hierarchical Embedding Model for Personalized Product Search In machine learning, hierarchical embedding models aim to capture the intricate relationships between products and user preferences by organizing items within a structured hierarchy. This approach facilitates more accurate recommendations and search results tailored specifically towards individual users' needs. A hierarchical embedding model typically involves constructing embeddings that represent both product features and their positions within a category tree or other organizational structures[^1]. For personalized product searches, this means not only capturing direct attributes of each item but also understanding how these relate across different levels of abstraction—from specific brands up through broader categories like electronics or clothing. To train such models effectively: - **Data Preparation**: Collect data on user interactions with various products along with metadata describing those goods (e.g., price range, brand name). Additionally, gather information about any existing hierarchies used in categorizing merchandise. - **Model Architecture Design**: Choose an appropriate neural network architecture capable of processing multi-level inputs while maintaining computational efficiency during training sessions. Techniques from contrastive learning can be particularly useful here as they allow systems to learn meaningful representations even when labels are scarce or noisy[^3]. - **Objective Function Formulation**: Define loss functions aimed at optimizing performance metrics relevant for ranking tasks; minimizing negative log-likelihood serves well as it encourages correct predictions over incorrect ones[^4]. Here’s a simplified example using Python code snippet demonstrating part of what might go into building one aspect of this kind of system—learning embeddings based off some hypothetical dataset containing customer reviews alongside associated product IDs: ```python import torch from torch import nn class HierarchicalEmbedder(nn.Module): def __init__(self, vocab_size, embed_dim=100): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) def forward(self, x): return self.embedding(x) # Example usage: vocab_size = 5000 # Number of unique words/products embeddings_model = HierarchicalEmbedder(vocab_size) input_tensor = torch.LongTensor([i for i in range(10)]) # Simulated input indices output_embeddings = embeddings_model(input_tensor) print(output_embeddings.shape) # Should output something similar to "torch.Size([10, 100])" ``` This script initializes a simple PyTorch module designed to generate fixed-size vector outputs corresponding to given integer keys representing either textual tokens found within review texts or numeric identifiers assigned uniquely per catalog entry.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值