论文阅读：Scene Graph Generation by Iterative Message Passing

最新推荐文章于 2024-09-24 08:01:56 发布
原创 最新推荐文章于 2024-09-24 08:01:56 发布 · 3.5k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scene understand

这篇博客详细介绍了CVPR2017论文中提出的Iterative Message Passing方法在场景图生成中的应用。初始图使用全连接图进行初始化，网络考虑了C+1种关系概率，包括none-relation。文章阐述了如何通过GRU迭代更新，以及如何计算节点和边的兼容性得分来构建和更新context。在VG数据集的测试结果中，分析了R@k指标以及with和without graph constraint两种情况下的性能差异。

Iterative Message Passing(CVPR2017)

文章
  问题是最开始的graph怎么得到？代码里还是用的full-connected graph作为初始化。
  本方法中，如果有C种关系，那么网络中是C+1个关系的概率，多的一个代表none-relation，物体类别也一样，多出来一类代表background。
这里写图片描述
  代码里，先将所有可能的relation都列出来了（任意两个不相同的box都认为可能有关系），因此还是有n*(n-1)对关系。GRU每次的输入为context，隐藏状态每次迭代都被更新。代码中的context是一种soft的：

  （1）对于edge，将其subject和object的特征（从GRU的隐藏状态得到），分别与该edge的GRU当前迭代的输出concat，分别经过不同的fc和relu得到一个0到1的compatibility score，对于每个edge，它的context就由他的s和o分别乘以它们对应的score的和。
  （2）对于vertex，一个vertex可能会在多个rel中充当sub或者obj，充当sub则称该rel为outbounds，反之为inbounds。同样地，先将每个与某vertex相关的rel都concat上vertex的特征，in和out分别过不同的fc和relu得到compatibility score，然后把某个vertex的相关的rel（in和out）特征全部按score加权求和，得到vertex的context。

  解释一下VG数据集测试结果中的R@k，k一般取50和100，代表检测器给出的top k

最低0.47元/天 解锁文章
Kivee123
关注
场景图生成论文阅读笔记 之 IMP(Scene Graph Generation by Iterative Message Passing)
流觞时光
07-08 833
IMP 2017CVPR 《Scene Graph Generation by Iterative Message Passing》 针对问题 前人的工作大多是local prediction，未利用丰富的上下文信息，因此会造成关系类别预测出现模糊和歧义 图的表示 把node(目标)和各个node之间的edge(边)都视为节点，即node节点和edge节点，因为edge也需要具备状态和更新状态，所以把edge也视为节点。 因此每个node节点直接相连的只有edge节点，反之同理，与edge节点直接相连的的只
论文阅读笔记-场景图谱-图谱生成：Scene Graph Generation from Objects, Phrases and Region Captions
古承风的博客
01-13 2206
文章目录摘要引言正文部分Conclusionn Li Y, Ouyang W, Zhou B等. Scene Graph Generation from Objects, Phrases and Region Captions[J]. Proceedings of the IEEE International Conference on Computer Vision, 2017, 2017-October: 1270–1279. 摘要 目标检测 、 场景图谱生成 和 region captionin
[Scene Graph] 图神经网络的核心方法——Message Passing
风中摇曳的小萝卜 的博客
02-20 7509
GNN中的Message Passing方法解析 一、GNN中是如何实现特征学习的？ 深度学习方法的兴起是从计算图像处理（Computer Vision）领域开始的。以卷积神经网络（CNN）为代表的方法会从邻近的像素中获取信息。这种方式对于结构化数据（structured data）十分有效，例如，图像和体素数据。但是，CNN的处理方式对于类似图（graph）数据则并不适用。对于一个图而言，类似图像像素的邻近关系是不存在的。考虑图中任意一个节点，我们几乎不可能始终找到8个有序邻近节点，因此类CNN卷积核将不
Python-通过迭代消息传递的场景图生成
08-10
通过迭代消息传递的场景图生成，Scene Graph Generation by Iterative Message Passing
论文阅读：Scene Graph Generation by Iterative Message Passing(CVPR17)
qq_40349484的博客
09-10 535
论文阅读：Scene Graph Generation by Iterative Message Passing(CVPR17)
Scene Graph Generation by Iterative Message Passing解读
Sundrops的专栏
07-09 7125
lifeifei老师团队在发布了Visual Genome数据集后，又在Scene Graph Generation做的新的创新 关于Scene Graph Generation就不再赘述，在上一篇neural motif介绍过，neural motif比这篇晚一些，效果也好一些 Image to Scene Graph现状 Lu et al: Visual Rel...
[Scene Graph] Scene Graph Generation by Iterative Message Passing 论文解读
风中摇曳的小萝卜 的博客
09-17 831
Scene Graph Generation by Iterative Message Passing (CVPR 2017) 论文解读 简介 这篇文章在解决scene graph generation这个问题中更加偏向环境全局的上下文信息对于物体标签和关系预测带来的提升。为了获取和利用上下文信息，文章采用RNN-based的网络模型进行图推理。为了简化计算过程和提高计算效率，作者采用GRU（Ga...
Scene Graph Generation by Iterative Message Passing
sunshine__0411的博客
09-27 737
未完。。 理解视觉场景不仅仅是孤立地识别单个物体。对象之间的关系也含有关于场景的丰富语义信息。在本文中，我们使用场景图显式地建模了对象及其关系，场景图是图像的可视化图形结构。我们提出了一种新的端到端模型，该模型从输入图像生成所需的结构化场景表示。该模型使用标准RNN解决场景图推理问题，并通过消息传递学习迭代改进其预测能力。我们的联合推理模型可以利用上下文线索来更好地预测对象及其关系。 实验表...
有关场景重构2017、2018CVPR ICCV等论文及翻译总结
02-26
2017年和2018年的CVPR（计算机视觉与模式识别）以及ICCV（国际计算机视觉大会）上的论文集中体现了这一领域的最新研究动态和技术创新。 首先，我们关注到“GAN”（Generative Adversarial Networks，生成对抗网络）...
论文阅读：Vision GNN: An Image is Worth Graph of Nodes
sigmoidAndReLU的博客
07-07 1329
ViG,喜欢图神经网络和卷积神经网络的小伙伴们可以看看。
Scene Graph Generation by Iterative Message Passing 项目教程
gitblog_00493的博客
08-16 926
Scene Graph Generation by Iterative Message Passing 项目教程 项目介绍 本项目是基于论文《Scene Graph Generation by Iterative Message Passing》实现的代码库，由Xu等人提出。该项目通过迭代消息传递的方式生成场景图，输入包括图像和图提议，输出预测的对象和关系。项目地址为：https://github...
读书笔记24：Graph R-CNN for Scene Graph Generation
b224618的博客
09-11 5668
https://arxiv.org/pdf/1808.00191.pdf 本文摘要没有介绍背景及他人方法，而是开门见山，指出本文提出了一个新的scene generation model，叫做graph R-CNN。接着介绍这个模型的特点是能够既能高效的检测到图片中的物体，又能有效的抓取物体之间的关系。本文模型包括一个Relation proposal network（RePN）,能够高效的解决...
通过迭代消息传递生成场景图Scene Graph Generation by Iterative Message Passing（2017）
代码
05-20 2028
Scene Graph Generation by Iterative Message Passing摘要：介绍：相关工作场景理解和关系表示视觉场景表示图推理：场景图的生成问题公式化利用RNN来进行推理 大致翻译，有时间再整理一下 摘要： 理解视觉场景不仅仅是孤立地识别单个对象。对象之间的关系也构成了丰富的场景语义信息。论文中使用场景图(一种基于图像的可视化图形结构)显式地对对象及其关系建模。提出...
【场景图生成】Unbiased Scene Graph Generation from Biased Training
weixin_44574941的博客
04-12 2269
【场景图生成】Unbiased Scene Graph Generation from Biased Training
场景图生成（scene graph generation），github/yrcong/RelTR 代码运行
tt1724369779的博客
04-26 2842
这周为了跑通yrcong/RelTR: RelTR: Relation Transformer for Scene Graph Generation (github.com)配置环境花了好长时间。 从github下载项目，按照网站要求： git clone https://github.com/yrcong/RelTR.git cd RelTR 之后下载anaconda配置新的环境，记住一定要按照网站要求设置python=3.6，我一开始运行python=3.7一直无法成功。下载需要的包。
23-CVPR-Iterative Scene Graph Generation with Generative Transformers 学习笔记
weixin_43508459的博客
08-13 1206
现有的场景图生成方法采取的是通过分类生成的方法，其中场景图是通过对场景中物体之间所有可能的边进行标记而生成的，这增加了计算的开销。该项工作介绍了一个生成的基于Transformer的方法来在链接预测的基础上生成场景图。使用两个基于Transformer的组件，我们首先从检测到的物体和它们的视觉特征中采样到可能的场景图结构，然后我们对采样到的edge进行分类来得到最后的场景图。
Panoptic Scene Graph Generation：开启全景场景图生成的新纪元
最新发布
gitblog_00373的博客
09-24 668
Panoptic Scene Graph Generation：开启全景场景图生成的新纪元 项目介绍 Panoptic Scene Graph Generation (PSG) 是一个革命性的开源项目，旨在通过全景分割技术生成复杂的场景图。该项目由南洋理工大学S-Lab和商汤科技研究院联合开发，其核心任务是通过像素级的分割掩码，将图像中的所有内容（包括“物体”和“背景”）转化为结构化的场景图。PS...
22-ECCV-panoptic scene graph generation 学习笔记
weixin_43508459的博客
08-13 1025
目前现有的SGG工作方法主要是用bbox识别object然后预测它们之间的relation。它们认为这种规范会阻碍这个领域的进步。例如，基于bounding box的labels在当下数据集中往往包含了很多冗余的类别，例如hair，并且会忽略背景信息对理解场景的巨大作用。因此该文提出了一个全新的任务叫做panoptic scene graph generation（全景场景图理解）。该任务基于全景的segmentation而不是固定的bbox。
Unconditional Scene Graph Generation 阅读笔记
baidu_40582876的博客
01-17 985
Task 无条件的场景图生成。之前的场景图生成的研究中，是基于条件生成的场景图，而本篇工作是根据一个随机的输入，产生一个完整的场景图。 问题 (1) 图的object的数量的多少是不一致的。 (2) object之间的关系的种类是不平衡的。 (3) object之间的关系是有向的。 解决方法 (1) 前人的工作大多是给一个假设，即设定object的数量是一致的，而本篇工作采用的是自回归的方法，利用自回归来解决数量不一致的问题。 (2) object与object之间的关系和种类，作者利用了G
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值