MGAT: Multimodal Graph Attention Network for Recommendation

原创 已于 2023-03-07 16:57:41 修改 · 1.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2023-03-07 14:26:36 首次发布
文章介绍了MGAT模型，它是对MMGCN的优化，解决了MMGCN在处理多模态数据时不能自适应捕获用户偏好的问题。MGAT采用注意力机制来区分不同邻居节点的重要性，通过内积门、连接门和双相互作用门进行信息传播的选择，实验表明内积门在防止过拟合方面更优。模型通过多层信息融合，将不同模态的特征转换到ID空间，更好地预测用户行为。

模型总览如下：

图1：多模态图注意力网络

背景：本论文是对MMGCN（Wei et al., 2019）的改进。MMGCN简单地在并行交互图上使用GNN，平等地对待从所有邻居传播的信息，无法自适应地捕获用户偏好。

MMGCN的消息聚合方式如下：

     

（平均值聚合

或

（最大值聚合）

j_{m}：邻居的特征向量

最低0.47元/天 解锁文章
论文分析：MGAT: Multi-view Graph Attention Networks
Yuetian_w的博客
03-02 4074
论文阅读笔记：MGAT: Multi-view Graph Attention Networks 文章目录论文阅读笔记：MGAT: Multi-view Graph Attention NetworksAbstract1. Introduction2. Background2.1. Attention mechanism2.2. Network embedding2.3. Multi-view network embedding3. Methodology符号表示：An overview of the fr
KGAT: Knowledge Graph Attention Network forRecommendation
Angeliaaa的博客
03-04 2433
一、论文概要 协同过滤CF算法利用用户的行为信息进行偏好预测，该方法在推荐系统里有较好的应用。但是CF算法不能对其他信息（比如商品的属性、用户信息、上文下）进行建模，而且在用户-商品交互信息较少的数据上表现较差。 为了能把其他信息利用起来，学术界常用的做法是：将用户跟商品都用embedded向量进行表示，然后将他们输入监督学习的模型里训练。 虽然这些模型都能取得不错的效果，但是这些模型有个缺点：将训练数据里（用户交互数据）的特征进行独立建模，没有考虑到交互数据之间的关系。这使得这些模型不足以从用户的行
【IPM‘2020】MGAT: Multimodal Graph Attention Network for Recommendation
最新发布
m0_67899322的博客
11-03 520
本文在 GNN 中引入门控注意力机制，在图传播过程中动态控制不同模态信息的重要性，从而实现更细粒度的用户偏好建模。
KGAT : Knowledge Graph Attention Network for Recommendation
いいこと？暁の磕盐线に胜利を刻みなさいっ！
12-12 2555
0 ABSTRACT 在推荐系统领域中，为了使推荐结果更加准确、可解释性更高，不仅要考虑user-item之间的关系，引入外部知识丰富user-item之间的信息也非常有必要。在这方面比较常用的方法主要有FM算法（factorization machine，因子分解机），该方法主要问题在于将user-item作为相互独立的实例，忽视了item之间可能存在的相互作用关系。 本文提出了一种基于知识图谱...
Multimodal Graph-based Transformer Framework for BiomedicalRelation Extraction
huihuixiaoxue的博客
08-09 391
Multimodal Graph-based Transformer Framework for Biomedical Relation Extraction
多模态推荐系统综述：二、特征交互 Fusion
weixin_43409127的博客
01-08 5332
多模态推荐系统 ：二、特征交互Fusion
多模态信息用于推荐系统问题（PMGT，MM-Rec，MGAT，TransRec）
nakaizura
08-29 3052
而在实际的推荐系统中，推荐的物品可以是各种新闻、图片或视频（如上图的source domain的来源可以是任何信息），因此基于混合模态反馈的推荐模型是实现可迁移和通用推荐的重要途径，并且可以迁移到属于任何源领域模态组合的目标域（如上图target domain可以是单模态，也可以是多模态）。MGAT (Multimodal Graph Attention Network)的模型结构如上图，分为两条通道，首先信息会在不同模态的交互图上进行信息传播，再同时利用门控注意机制捕捉用户对不同模态的喜好。...
论文笔记-Harnessing Multimodal Large Language Models for Multimodal Sequential Recommendation-AAAI‘2025
欢迎来到三水编程的博客
03-14 1518
论文笔记-Harnessing Multimodal Large Language Models for Multimodal Sequential Recommendation-AAAI'2025
多模态推荐系统综述：一、特征交互 Bridge
weixin_43409127的博客
01-08 3267
多模态推荐系统综述：特征交互
1.14组会 ------ Multi-modal Graph Learning 论文精读
m0_60964321的博客
01-14 1532
为了有效地提取到与疾病关系密切的多模态信息，我们还提出了模态感知表征学习通过利用模态之间的相关性和互补性来聚合每一个模态的特征。除此之外，大多多模态表征学习方法仅仅是捕捉模态间的共性信息，模态之间的不同性缺被忽略，很有可能导致互补性的不足。因为图的强表达能力，以图为基础的方法已经广泛地被运用去处理多模态医学数据并且在众多的生物医学应用上获得了极好的表现。对于疾病预测任务，大多数现有的以图为基准的方法都是在特定的模态上（例如，生物医学图信息）由人工来定义图，然后通过GRL整合其他模态来获得病人的表征信息。
2019 ICLR | Learning Multimodal Graph-to-Graph Translation for Molecular Optimization
发呆的比目鱼的博客
05-18 637
2019 ICLR | Learning Multimodal Graph-to-Graph Translation for Molecular Optimization
专题解读｜多模态图学习
m0_59235945的博客
11-28 2087
多模态图（Multimodal Graphs, MGs）被定义为携带异构模态数据的图，例如视觉、文本和声音数据的组合。研究的重点是节点携带多模态数据，而边的特征是单模态的，并且反映了节点之间的连接。根据数据模态在节点中的分布，多模态图被分为三种类型：特征级多模态图、节点级多模态图和图级多模态图。特征级多模态图：每个节点存储多模态特征的图；节点级多模态图：每个节点携带单模态特征，但节点间特征模态不同的图；图级多模态图：包含多个子图，每个子图仅存储单一模态的特征。
用于多模态注意力学习的超图注意力网络（2020 CVPR）
weixin_45339060的博客
07-27 3700
重新强调了存在的问题来自不同模态的特征向量被视为了同一个level上的上的抽象信息，即使这些特征向量是从不同的预处理步骤中获得的。如何对齐异构模态的信息？为了解决这个问题，本文建议使用符号图作为多模态学习的常见语义表示。我们将符号图定义为包含节点和边的有向图，节点表示具有文本形式的语义单元，边表示它们之间的关系。例如，场景图可以用作图像模态的符号图，也可以用作文本模态的自然句子中的依存树。通过从每个低层输入中提取符号图，我们可以比较同一抽象层中模态之间的语义。定性分析后的发现。...
论文阅读 KGAT: Knowledge Graph Attention Network for Recommendation
木东的博客
02-25 1830
在这里插入图片描述 1. Motivation 如何将side information和用户-物品二部图考虑在一起给用户提供准确、多样和可解释的推荐是非常有必要的。目前基于CF的方法并不能很好的对用户和物品的side information进行建模，这样就不可避免的面临数据稀疏性的问题。工业界的解决办法是使用监督学习模型，比如FM，NFM，wide&deep等方法去将用户物品的所有sid...
论文阅读：Multimodal Graph Transformer for Multimodal Question Answering
weixin_44845357的博客
05-14 2439
在这项工作中，我们的目标是从这两个世界中受益，并提出了一种新的多模态图转换器，用于需要跨多模态执行推理的问答任务。我们引入了一种涉及图形的即插即用类注意机制，将从文本和视觉数据中获得的多模态图形信息作为有效的先验信息整合到vanilla自注意力中。 具体来说，我们构建文本图、密集区域图和语义图来生成邻接矩阵，然后将它们与输入的视觉和语言特征组合在一起进行下游推理。
KGAT : Knowledge Graph Attention Network for Recommendation 用于推荐的知识图注意力网络 KDD2019
u013602059的专栏
03-24 5932
论文来源：KDD 2019 论文链接 代码及数据集链接 1、摘要 在推荐系统领域中，为了使推荐结果更加准确、可解释性更高，不仅要考虑user-item之间的关系，引入外部知识丰富user-item之间的信息也非常有必要。在这方面比较常用的方法主要有FM算法（factorization machine，因子分解机），该方法主要问题在于将user-item作为相互独立的实例，忽视了item之间可能存...
分析游戏中的金钱交易：Multi-view Attention Networks
qq_30232405的博客
10-08 1014
1.背景 论文：MVAN: Multi-view attention networks for real money trading detection in online games 里分析了在网游中存在的真实金钱交易行为。（Real money trading）这种交易行为，用真实世界的货币交换虚拟世界中的资产，导致游戏经济的不平衡和贫富不均。 ...
【论文泛读】Multimodal Neural Graph Memory Networks for Visual Question Answering
⛄
06-04 352
理解GloVe模型（Global vectors for word representation） 门控循环单元（GRU）的基本概念与原理
读书笔记8：Graph Attention Networks（ICLR 2018)
热门推荐
b224618的博客
08-16 2万+
https://mila.quebec/wp-content/uploads/2018/07/d1ac95b60310f43bb5a0b8024522fbe08fb2a482.pdf https://arxiv.org/pdf/1710.10903.pdf 这是一篇将attention机制应用到graph convolution中的文章。但是文章中提出的模型其实是利用了attention的一部...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值