视觉理解论文系列(二)Heterogeneous Graph Learning for Visual Commonsense Reasoning

最新推荐文章于 2025-01-07 17:30:46 发布
原创 最新推荐文章于 2025-01-07 17:30:46 发布 · 781 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #计算机视觉

本文提出了HGL框架，通过视觉到答案和问题到答案的异构图学习，结合上下文投票机制，解决视觉语言任务中视觉域与语言域的高度对齐问题，尤其适用于视觉常识推理。实验表明，这种方法能有效捕捉特定语义信息，提升模型表现。

背景

本篇的工作来自中山大学梁晓丹组，论文被NeurIPS 2019接收。论文介绍到，视觉语言任务(visual-language task)的解决方案粗略地分成两大类型，一种是强大的端到端结构(end-to-end)，如Bert，bottom-up and top-down模型，用于学习更加具有鉴别性的特征表示；另一种是发掘视觉对象(visual objects)的内部联系(intra-relationship)，即构建同构图(homogeneous graph)的方式，对视觉对象之间的关系进行建模。
目前存在的方法的不足之处：难以满足VCR任务中需要视觉域与语言域的高度对齐这一需求。本文提出利用异构图学习，通过图内和图间的推理将视觉域-语言域桥接起来。

贡献

提出HGL框架，包含两个异构图模块VAHG(visual-to-answer heterogeneous graph和QAHG(question-to-answer heterogeneous graph),此外,针对缺乏标签的特定语义信息(如"rainy day")提出了一种上下文投票机制(contextual voted module)来捕捉这种特定的语义信息,作为图像中常规object特征的补充,为全局推理提供了一个新的视角.

框架

在这里插入图片描述
简要介绍:
通过resnet50提取的object特征与seq2seqEncoder(LSTM)处理的文本特征利用图学习进行contextualization,分别构建了VAHG与QAHG两个(跨域)异构图,两张异构图的输出最终通过全连接进行合并,之后送入到推理模块,模型最终的输出是一个四维向量(即四个选项的概率分数值) ,张量的流动如下图所示.
在这里插入图片描述
异构图模块的初始输入,其中XaB∗dX_a^{B*d}XaB∗d<

最低0.47元/天 解锁文章
Multi-Level Knowledge Injecting for Visual Commonsense Reasoning
wangxiaoxiaodeer的博客
12-27 1176
摘要——当浏览一幅图像时，人类可以推断出隐藏在图像中的东西，而不是视觉上明显的东西，例如物体的功能、人的意图和精神状态。然而，这种视觉推理范式对计算机来说非常困难，需要了解世界是如何工作的。为了解决这个问题，我们提出了基于常识知识的推理模型(CKRM)来获取外部知识，以支持视觉常识推理(VCR)任务，其中计算机被期望回答具有挑战性的视觉问题。我们的核心思想是:(1)通过多层次知识转移网络注入外部常识知识，实现细胞级、层级和注意力级的联合信息转移，从而弥合识别级和认知级图像理解之间的鸿沟。它可以有效地从不同的
Multi-level Knowledge Injecting for Visual Commonsense Reasoning
csdn_tclz的博客
12-09 439
背景 本篇的工作来自北大彭宇新组，论文被TCSVT接收 摘要 题为多级知识注入的VCR方法，作者认为计算机在推理方面弱势是由于： （1）计算机不具备人类日积月累的各种常识 （2）计算机不具备认知级别的多步推理能力 针对以上两点，作者提出的CKRM网络分别包括多级知识迁移网络Multi-level knowledge transfer network和基于知识的推理Knowledge based reasoning两个模块来解决上述问题。 方法 Multi-level knowledge transfer n
论文-《From Recognition to Cognition: Visual Commonsense Reasoning》笔记
Vivinia的博客
11-29 1412
论文下载 摘要（Abstract）： Visual understanding goes well beyond object recognition. With one glance at an image, we can effortlessly imagine the world beyond the pixels: for instance, we can infer peo...
阅读小结：From Recognition to Cognition: Visual Commonsense Reasoning (CVPR2019)
bilibalahhh的博客
06-19 2318
文章链接：https://arxiv.org/pdf/1811.10830 cvpr2019中Rowan Zellers等作者提出了一个新任务：visual commonsense reasoning，简单来说是，给出一张图片，然后针对这张图片问一个问题，然后机器回答并且给出理由。在这篇文章里，作者的贡献分为4个部分： 提出视觉常识推理的任务； 展示一个大范围的多项选择的问答数据集VCR； 展示...
论文阅读：Heterogeneous Graph Contrastive Learning for Recommendation（WSDM ’23）
aaHua_
04-25 4085
Heterogeneous Graph Contrastive Learning for Recommendation
【论文解读 AAAI 2020】Graph-Based Reasoning over Heterogeneous External Knowledge for 常识问答
byn12345的博客
04-29 4567
论文题目：Graph-Based Reasoning over Heterogeneous External Knowledge for Commonsense Question Answering 论文来源：AAAI 2020 信工所，北大，微软 论文链接：https://arxiv.org/abs/1909.05311 关键词：知识图谱，机器推理，常识问答，GCN，Attention ...
Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks（IEEE2022）
weixin_52128497的博客
04-30 711
图神经网络（GNNs）作为一种有效的图表示技术，在学习图嵌入方面表现出了令人印象深刻的性能。然而，KGs具有内在的异构性，它包含各种类型的实体和关系。如何同时处理复杂的图形数据和聚合多种类型的语义信息是一个关键问题。本提出了一种基于注意力机制的异构GNNs框架。具体地说，首先在每个关系路径下聚合实体的邻居特征。然后通过关系特征了解不同关系路径的重要性。最后，将每个基于关系路径的特征与学习到的权值进行聚合，生成嵌入表示。因此，该方法不仅可以从不同的语义方面对实体特征进行聚合，而且可以为它们分配适当的权重。
2月跨模态（图片-文本）论文粗览
weixin_42636127的博客
02-22 2042
AAAI2021跨模态（图片-文本）论文粗览总体情况《A Case Study of the Shortcut Effects in Visual Commonsense Reasoning》《Simple is Not Easy: A Simple Strong Baseline for TextVQA and TextCaps》《Commonsense Knowledge Aware Concept Selection For Diverse and Informative Visual Storyte
CCF A类会议或期刊----近两年对比学习相关论文
Thincor的博客
03-20 6043
会议/期刊 论文 sigmod2021 Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals. neurips2020 Adversarial Self-Supervised Contrastive Learning. neurips2020 Demystifying Contrastive Self-Supervised Learning: Invariances, Augme....
Heterogeneous Graph Structure Learning for Graph Neural Networks （HGSL）论文笔记
qq_39329902的博客
05-25 2347
目标：异质网络（子图）的嵌入,用于节点分类任务 方法：根据边（R）类型的的不同分解成多个子网络，对每个子网络使用GCN，进行联合优化，目标为是最小化交叉熵（目标是节点分类） 具体流程如图： 一、得到关系r1的子图 对于一类关系 r1 ，指的是连接两个节点的边，将这类关系的节点从异质图上挖下来构成一个子图。该子图的邻接矩阵为Ar1。 另外还融入了节点属性信息和节点间的语义信息。 二、得到融合节点属性的子图 对于一个关系 r1 ，节点的属性信息（文本、图像）先变成一个向量（如词嵌入，图像CN.
论概念化在常识知识图构建中的作用（Commonsense Knowledge Graph）.pdf
03-09
我们引入CKG构造方法概念化，即将文本中提到的实体视为特定概念的实例，反之亦然。我们通过概念化来建立合成三元组，并进一步将其表示为三元分类，由一个从预训练语言模型中转移知识并通过负抽样进行微调的判别性模型来处理。实验结果表明，该方法能够有效地识别可能三元组，并将新节点和新边的KG值同时扩大三倍，具有较高的多样性和新颖性。
AMiner推荐论文：Broaden the Vision: Geo-Diverse Visual Commonsense Reasoning
AI_Conf的博客
11-09 253
论文链接：https://www.aminer.cn/pub/6141645a5244ab9dcb9ddfda?f=cs 我们的文章主要关注在常识知识的地区多样性：由于历史文化因素的影响，在不同地区生活的人们可能对同一事物有着不一样的常识和认知。我们提出了地区多样性视觉常识推理数据集 GD-VCR 去考察模型的表现，并且探究造成这一表现背后的原因。我们很高兴 EMNLP 2021 的最佳论文 (Liu et al., 2021)，和杰出论文 (Zhang et al., 2021) 有着和我们非常相似的研究
【亲测免费】 推荐文章：探索视觉常识推理新领域 ——从识别到认知：Visual Commonsense Reasoning（CVPR 2019口头报告）
gitblog_00245的博客
08-29 867
推荐文章：探索视觉常识推理新领域 ——从识别到认知：Visual Commonsense Reasoning（CVPR 2019口头报告） 在当今的AI研究中，如何让机器理解世界如同人类一般，是许多科研人员梦寐以求的突破点。今天，我们聚焦于一个引人注目的开源项目——From Recognition to Cognition: Visual Commonsense Reasoning，该成果不仅被收...
《Heterogeneous Graph Attention Network》论文解读
luoxuexiong的博客
05-10 4794
《Heterogeneous Graph Attention Network》发表在WWW2019会议上 论文地址 Heterogeneous Graph Attention Network:https://arxiv.org/pdf/1903.07293.pdf 论文解读： 文章目录 ABSTRACT KEYWORDS INTRODUCTION RELATED WORK...
【intro】GNN中异构图（heterogeneous graph）综述
Karen_Yu_的博客
05-31 8721
大多数GNN的目的是学习只包含单一类型的节点和边的同构图的嵌入向量。然而，现实世界中的实体及其相互作用往往具有多种类型，自然形成具有丰富结构和语义信息的异构图。现有的异构图表示学习的调查论文总结了所有可能的图嵌入技术，对深度神经网络模型的分析不足。为了解决这一问题，本文系统地总结和分析了现有的异构图神经网络(hgnn)，并根据其神经网络结构对其进行了分类。同时，收集了常用的异构图数据集，并总结了它们的统计信息。此外，还比较了HGNN和浅嵌入模型的性能，以显示其强大的特征。
visual-reasoning 笔记
weixin_30245867的博客
08-07 899
目录 整理最近学习 visual-reasoning的笔记 1. 关注 ACL、EMNLP、NAACLI等会议文章 未开始 2. Cyc项目 2.1 cyc知识库介绍： ​ 该知识库包含了320w条人类断言，30w概念，15000谓词。 ​ Cyc知识库中表示的知识一般形如“每棵树都是植物”、“植物最终都会死亡”。当提出“树是否会死亡”的...
HGCL：Heterogeneous Graph Contrastive Learning for Recommendation
Guozyan的博客
01-07 1410
推荐场景通常涉及异构关系（例如，社交感知的用户影响、知识感知的项目依赖性），其包含用于增强用户偏好学习的富有成效的信息。本文研究了异构图增强的关系学习推荐问题。异构辅助信息对交互的影响可能因用户和项目而异，为了推进这一思想，我们用Meta网络增强了我们的异构图对比学习，以允许具有自适应对比增强的个性化知识Transformer。
Heterogeneous Graph Contrastive Learning for Recommendation
Zjkorigin的博客
05-13 2057
图神经网络（GNN）已成为推荐系统中对图结构数据进行建模的强大工具。然而，现实生活中的推荐场景通常涉及异构关系（例如，社交感知的用户影响力、知识感知的项目依赖性），其中包含丰富的信息来增强用户偏好学习。在本文中，我们研究了异构图增强关系学习的推荐问题。最近，对比自监督学习在推荐领域取得了成功。鉴于此，我们提出了一种HGCL，它能够将异构关系语义纳入用户-项目交互模型中，并通过学习增强知识转移。然而，异构辅助信息对交互的影响可能因用户和项目而异。为了推进这个想法，我们通过。
WSDM 2023 | HGCL: 探索推荐系统中的异质图对比学习
Paper weekly
04-05 4569
@Paperweekly 原创 · 作者 |陈梦如单位 |华南理工大学研究方向 | 推荐系统论文题目：Heterogeneous Graph Contrastive Learning for Recommendation收录会议：WSDM 2023论文链接：https://arxiv.org/abs/2303.00995代码链接：https://github.com/HKUDS/HGCL港大数...
复现论文 Heterogeneous Graph Representation Learning with Relation Awareness
最新发布
10-25
要复现论文《Heterogeneous Graph Representation Learning with Relation Awareness》，可以从以下几个方面着手： ### 理解论文核心思想 该论文可能聚焦于异构图中关系感知的顶点表示学习。现有方法在处理异构图时存在局限，如GNN用于同构图设计，部分专门GNN仅关注顶点表示而未研究关系语义建模，关系属性方法在处理不同类型顶点特征上较简单。此论文或许提出了新的解决办法，像基于注意力机制聚合实体特征并分配权重以捕捉语义信息 [^2][^3]。 ### 数据准备 - **收集数据集**：找到论文中使用的异构图数据集，若没有公开数据集，需自行构建符合论文描述的异构图数据，确保包含不同类型的节点和关系。 - **数据预处理**：对数据进行清洗、归一化等操作，处理缺失值和异常值，将数据转换为适合模型输入的格式。 ### 模型实现 - **代码框架选择**：可使用常见的深度学习框架，如PyTorch或TensorFlow，利用框架提供的工具实现模型结构。 - **构建模型架构**：依据论文中提出的模型架构，实现关系感知的顶点表示学习模块。可能涉及到聚合实体相邻特征、学习不同关系路径重要性以及特征聚合等步骤。例如，若使用注意力机制，可参考以下代码示例（以PyTorch为例）： ```python import torch import torch.nn as nn class RelationAttention(nn.Module): def __init__(self, input_dim, hidden_dim): super(RelationAttention, self).__init__() self.linear = nn.Linear(input_dim, hidden_dim) self.attention = nn.Linear(hidden_dim, 1) self.softmax = nn.Softmax(dim=1) def forward(self, features): hidden = torch.tanh(self.linear(features)) attention_scores = self.attention(hidden) attention_weights = self.softmax(attention_scores) weighted_features = attention_weights * features aggregated_features = torch.sum(weighted_features, dim=1) return aggregated_features ``` ### 模型训练 - **定义损失函数**：根据论文中的目标，选择合适的损失函数，如交叉熵损失、均方误差损失等。 - **选择优化器**：可使用Adam、SGD等优化器来更新模型参数。 - **训练过程**：将数据集划分为训练集、验证集和测试集，在训练集上进行模型训练，在验证集上进行模型评估和调优，最后在测试集上评估模型性能。 ### 结果评估 - **评估指标选择**：使用论文中提到的评估指标，如准确率、F1值、均方误差等，对模型性能进行评估。 - **结果分析**：分析模型在不同指标下的表现，与论文中的结果进行对比，若存在差异，需检查代码实现、数据处理等环节是否存在问题。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值