[Scene Graph] Scene Graph Generation by Iterative Message Passing 论文解读

最新推荐文章于 2024-09-24 08:01:56 发布
原创 最新推荐文章于 2024-09-24 08:01:56 发布 · 836 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种基于迭代消息传递的场景图生成方法，该方法通过利用全局上下文信息来增强物体标签和关系预测。采用RNN-based模型和GRU进行图推理，结合Primal-Dual更新机制，实现端到端的网络优化。通过messagepooling层隐性提取关系间的关联。
Scene Graph Generation by Iterative Message Passing (CVPR 2017) 论文解读
简介

这篇文章在解决scene graph generation这个问题中更加偏向环境全局的上下文信息对于物体标签和关系预测带来的提升。为了获取和利用上下文信息，文章采用RNN-based的网络模型进行图推理。为了简化计算过程和提高计算效率，作者采用GRU（Gated Recurrent Unit）和Primal-Dual更新的做法。为了隐性的提取固定关系之间的关联，文章使用了一个message pooling层按照权重加权每个节点或者边对于下一次迭代的影响。

数学模型

p(x∣I,BI)=∏i∈V∏i!=jp(xicls,xibbox,xi→j∣I,BI)p({\bf x}|I,B_I)={\prod_{i\in V}}{\prod_{i!=j}}p(x_i^{cls},x_i^{bbox},x_{i\rightarrow j}|I,B_I)p(x∣I,BI​)=∏i∈V​∏i!=j​p(xicls​,xibbox​,xi→j​∣I,BI​)
从上述的数学模型公式

最低0.47元/天 解锁文章
论文阅读：Scene Graph Generation by Iterative Message Passing
Kivee的博客
09-13 3540
Iterative Message Passing(CVPR2017) 文章   问题是最开始的graph怎么得到？代码里还是用的full-connected graph作为初始化。   本方法中，如果有C种关系，那么网络中是C+1个关系的概率，多的一个代表none-relation，物体类别也一样，多出来一类代表background。   代码里，先将所有可能的relation都列出...
场景图生成论文阅读笔记 之 IMP(Scene Graph Generation by Iterative Message Passing)
流觞时光
07-08 833
IMP 2017CVPR 《Scene Graph Generation by Iterative Message Passing》 针对问题 前人的工作大多是local prediction，未利用丰富的上下文信息，因此会造成关系类别预测出现模糊和歧义 图的表示 把node(目标)和各个node之间的edge(边)都视为节点，即node节点和edge节点，因为edge也需要具备状态和更新状态，所以把edge也视为节点。 因此每个node节点直接相连的只有edge节点，反之同理，与edge节点直接相连的的只
开放词汇场景图生成Open vocabulary scene graph generation
三木今天学习了嘛の博客
02-22 3104
提出了一种两步法，该方法首先对大量粗粒度数据进行预训练，然后利用两种基于prompt的技术对预训练模型进行微调，而不更新其参数。本文主要介绍了一种利用预训练视觉-语义空间（VSS）来解决场景图生成（SGG）中的两个难点的方法：1）训练SGG模型需要耗费大量时间和人力进行地面真实注释， 2）现有的SGG模型通常涉及预定义的有限物体类别，限制了它们识别训练语料库之外的新颖物体的能力。
论文阅读：Scene Graph Generation by Iterative Message Passing(CVPR17)
qq_40349484的博客
09-10 536
论文阅读：Scene Graph Generation by Iterative Message Passing(CVPR17)
Scene Graph Generation by Iterative Message Passing解读
Sundrops的专栏
07-09 7128
lifeifei老师团队在发布了Visual Genome数据集后，又在Scene Graph Generation做的新的创新 关于Scene Graph Generation就不再赘述，在上一篇neural motif介绍过，neural motif比这篇晚一些，效果也好一些 Image to Scene Graph现状 Lu et al: Visual Rel...
有关场景重构2017、2018CVPR ICCV等论文及翻译总结
02-26
2017年和2018年的CVPR（计算机视觉与模式识别）以及ICCV（国际计算机视觉大会）上的论文集中体现了这一领域的最新研究动态和技术创新。 首先，我们关注到“GAN”（Generative Adversarial Networks，生成对抗网络）...
[Scene Graph] 图神经网络的核心方法——Message Passing
风中摇曳的小萝卜 的博客
02-20 7519
GNN中的Message Passing方法解析 一、GNN中是如何实现特征学习的？ 深度学习方法的兴起是从计算图像处理（Computer Vision）领域开始的。以卷积神经网络（CNN）为代表的方法会从邻近的像素中获取信息。这种方式对于结构化数据（structured data）十分有效，例如，图像和体素数据。但是，CNN的处理方式对于类似图（graph）数据则并不适用。对于一个图而言，类似图像像素的邻近关系是不存在的。考虑图中任意一个节点，我们几乎不可能始终找到8个有序邻近节点，因此类CNN卷积核将不
Scene Graph Generation by Iterative Message Passing
sunshine__0411的博客
09-27 737
未完。。 理解视觉场景不仅仅是孤立地识别单个物体。对象之间的关系也含有关于场景的丰富语义信息。在本文中，我们使用场景图显式地建模了对象及其关系，场景图是图像的可视化图形结构。我们提出了一种新的端到端模型，该模型从输入图像生成所需的结构化场景表示。该模型使用标准RNN解决场景图推理问题，并通过消息传递学习迭代改进其预测能力。我们的联合推理模型可以利用上下文线索来更好地预测对象及其关系。 实验表...
Scene Graph Generation by Iterative Message Passing 项目教程
gitblog_00493的博客
08-16 928
Scene Graph Generation by Iterative Message Passing 项目教程 项目介绍 本项目是基于论文《Scene Graph Generation by Iterative Message Passing》实现的代码库，由Xu等人提出。该项目通过迭代消息传递的方式生成场景图，输入包括图像和图提议，输出预测的对象和关系。项目地址为：https://github...
读书笔记24：Graph R-CNN for Scene Graph Generation
b224618的博客
09-11 5669
https://arxiv.org/pdf/1808.00191.pdf 本文摘要没有介绍背景及他人方法，而是开门见山，指出本文提出了一个新的scene generation model，叫做graph R-CNN。接着介绍这个模型的特点是能够既能高效的检测到图片中的物体，又能有效的抓取物体之间的关系。本文模型包括一个Relation proposal network（RePN）,能够高效的解决...
Python-通过迭代消息传递的场景图生成
08-10
通过迭代消息传递的场景图生成，Scene Graph Generation by Iterative Message Passing
通过迭代消息传递生成场景图Scene Graph Generation by Iterative Message Passing（2017）
代码
05-20 2033
Scene Graph Generation by Iterative Message Passing摘要：介绍：相关工作场景理解和关系表示视觉场景表示图推理：场景图的生成问题公式化利用RNN来进行推理 大致翻译，有时间再整理一下 摘要： 理解视觉场景不仅仅是孤立地识别单个对象。对象之间的关系也构成了丰富的场景语义信息。论文中使用场景图(一种基于图像的可视化图形结构)显式地对对象及其关系建模。提出...
【场景图生成】Unbiased Scene Graph Generation from Biased Training
weixin_44574941的博客
04-12 2269
【场景图生成】Unbiased Scene Graph Generation from Biased Training
论文阅读笔记-场景图谱-图谱生成：Scene Graph Generation from Objects, Phrases and Region Captions
古承风的博客
01-13 2206
文章目录摘要引言正文部分Conclusionn Li Y, Ouyang W, Zhou B等. Scene Graph Generation from Objects, Phrases and Region Captions[J]. Proceedings of the IEEE International Conference on Computer Vision, 2017, 2017-October: 1270–1279. 摘要 目标检测 、 场景图谱生成 和 region captionin
场景图生成（scene graph generation），github/yrcong/RelTR 代码运行
tt1724369779的博客
04-26 2843
这周为了跑通yrcong/RelTR: RelTR: Relation Transformer for Scene Graph Generation (github.com)配置环境花了好长时间。 从github下载项目，按照网站要求： git clone https://github.com/yrcong/RelTR.git cd RelTR 之后下载anaconda配置新的环境，记住一定要按照网站要求设置python=3.6，我一开始运行python=3.7一直无法成功。下载需要的包。
23-CVPR-Iterative Scene Graph Generation with Generative Transformers 学习笔记
weixin_43508459的博客
08-13 1207
现有的场景图生成方法采取的是通过分类生成的方法，其中场景图是通过对场景中物体之间所有可能的边进行标记而生成的，这增加了计算的开销。该项工作介绍了一个生成的基于Transformer的方法来在链接预测的基础上生成场景图。使用两个基于Transformer的组件，我们首先从检测到的物体和它们的视觉特征中采样到可能的场景图结构，然后我们对采样到的edge进行分类来得到最后的场景图。
Panoptic Scene Graph Generation：开启全景场景图生成的新纪元
最新发布
gitblog_00373的博客
09-24 671
Panoptic Scene Graph Generation：开启全景场景图生成的新纪元 项目介绍 Panoptic Scene Graph Generation (PSG) 是一个革命性的开源项目，旨在通过全景分割技术生成复杂的场景图。该项目由南洋理工大学S-Lab和商汤科技研究院联合开发，其核心任务是通过像素级的分割掩码，将图像中的所有内容（包括“物体”和“背景”）转化为结构化的场景图。PS...
22-ECCV-panoptic scene graph generation 学习笔记
weixin_43508459的博客
08-13 1027
目前现有的SGG工作方法主要是用bbox识别object然后预测它们之间的relation。它们认为这种规范会阻碍这个领域的进步。例如，基于bounding box的labels在当下数据集中往往包含了很多冗余的类别，例如hair，并且会忽略背景信息对理解场景的巨大作用。因此该文提出了一个全新的任务叫做panoptic scene graph generation（全景场景图理解）。该任务基于全景的segmentation而不是固定的bbox。
Unconditional Scene Graph Generation 阅读笔记
baidu_40582876的博客
01-17 985
Task 无条件的场景图生成。之前的场景图生成的研究中，是基于条件生成的场景图，而本篇工作是根据一个随机的输入，产生一个完整的场景图。 问题 (1) 图的object的数量的多少是不一致的。 (2) object之间的关系的种类是不平衡的。 (3) object之间的关系是有向的。 解决方法 (1) 前人的工作大多是给一个假设，即设定object的数量是一致的，而本篇工作采用的是自回归的方法，利用自回归来解决数量不一致的问题。 (2) object与object之间的关系和种类，作者利用了G
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值