论文阅读：Neural Motifs: Scene Graph Parsing with Global Context

深度学习场景理解：Neural Motifs与全局上下文解析
最新推荐文章于 2024-09-10 09:19:21 发布
原创 最新推荐文章于 2024-09-10 09:19:21 发布 · 6.3k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scene understanding

Neural Motifs是CVPR2018提出的一种利用全局上下文进行场景图解析的方法。通过对场景中经常出现的子结构（motif）进行建模，该论文创建了一个强大的基线，它依赖于物体标签的条件频率来预测关系。在考虑物体重叠的限制后，结果进一步提升。尽管Neural Motifs在基线上的改进有限，但它揭示了在视觉图分析中考虑全局信息的重要性。实验表明，该模型在有交叠的边界框之间关系预测上表现出色，但可能不适合处理无交叠关系，如涉及动作和交互的场景。

Neural-Motifs(CVPR2018)

文章链接
官方github
  Paper给motif的定义是：regularly appearing substructures in scene graph。
  换句话说，subject和object的label对它们的relation影响很大，和DR-net差不多的想法，不过用了更复杂的网络来实现。基于motif的想法，paper提出了一个新的strong的baseline，直接用统计的relation关于物体label的条件频率进行预测，竟然state-of-art结果高，而再加上只有overlap的物体间才有关系时，结果更高了，而paper提出的方法，在这个strong baseline上只提高了1%左右，非常少。
  Paper使用了基于vgg-16的faster R-CNN但是在visual genome数据集上finetune了detector。训练motif-net时，最开始使用object的ground truth训练，还采样了一些negtive relation，应该就是none relation吧，得到的网络用来进行predicate classification很好，但是和detector一起工作效果就很差了，于是paper又将detector和motif-net连接到一起，end-to-end的训练，当然了，固定了detector的参数，只是为了让motif-net对detector产生的noisy的结果更adaptive。 Paper发现，在vg数据集里，几乎所有relation都是发生在有overlap的bbox间，因此paper直接将无overlap间的bbox的relat

最低0.47元/天 解锁文章
Kivee123
关注
Neural Motifs: Scene Graph Parsing with Global Contex
SimonChen
10-22 587
待续 Scene Graph Generation做的是预测物体之间的关系的
SGGTrans【Neural Motifs：Scene Graph Parsing with Global Context】2018 cvpr_pytorch 20.12.10
weixin_44892610的博客
08-16 923
Neural MotifsAbstract5. Experimental Setup5.1. Model Details5.2. Training5.3. Evaluation5.4. Frequency Baselines9. ConclusionSummary Abstract 我们研究产生视觉场景的结构化图形表示的问题。 我们的工作分析了图案的作用：场景图中经常出现的子结构。 我们在视觉基因组数据集中对此类重复结构提出了新的定量见解。 我们的分析表明，对象标签对关系标签具有高度的预测能力，反之亦然。
Neural Motifs: Scene Graph Parsing with Global Contex解读
Sundrops的专栏
07-05 8796
计算机视觉一步步发展，从最初的分类、检测、分割来到了更深层的理解: Scene Graph Generation(场景图生成)，即开始预测场景中物体之间的关系 Scene Graph简介 原有的检测box或者实例分割的mask不能充分地表达出图片的语义，因为两个相同的box/mask，可能是不同的语义，这个时候需要Scene Graph来能深层地理解图片的语义信息，这为caption、...
[Scene Graph] Neural Motifs: Scene Graph Parsing with Global Context 论文解读
风中摇曳的小萝卜 的博客
09-16 1401
[Scene Graph] Neural Motifs: Scene Graph Parsing with Global Context (CVPR 2018) 论文解读 简介 这篇文章工作的创新之处主要基于对Visual Genome（VG）场景图数据集的分析对模型和工作流进行调整。作者团队对VG数据集内容统计估计后得到两个结论：第一，如果一个关系估计中的主语和宾语一旦确定，那么它们之间的关系也...
论文阅读：Neural Motifs Scene Graph Parsing with Global Context(CVPR18)
qq_40349484的博客
09-06 582
MOTIF把场景图的生成分解成了以下三部分： （1）第一部分：Pr(B | I)，给定image输出bounding box，标准的目标检测模型 （2）第二部分：Pr(O | B, I)，给定image和bounding box，输出对象的类别标签 （3）第三部分：Pr(R | B, O, I)，给定image，bounding box和对象的类别标签，预测关系类别（给定物体类别标签是因为作者发现确定主客体的类别，对最终的关系预测有很大的作用） 具体模型： （1）第一部分：标准目标检测，这里论文用的是Fa
论文记录：Neural Motifs: Scene Graph Parsing with Global Context (CVPR-18)
deepinC博客
01-13 2756
（这里只是记录了论文的一些内容以及自己的一点点浅薄的理解，具体实验尚未恢复。由于本人新人一枚，若有错误以及不足之处，还望不吝赐教） 总结 本文关注的问题是 Scene Graph 的生成。通过观察 VG 数据集发现： 超过大半的 images，实体对之间的可能关系高度依赖于实体对的标签，反之不是（object labels are highly predictive of relation ...
Neural Motifs: Scene Graph Parsing with Global Context (CVPR 2018) 运行复现遇到的一些坑以及解决方法
AAAAshin的博客
03-27 2183
写在前面 首先，感谢这篇文章 https://blog.youkuaiyun.com/weixin_38651565/article/details/87901172 的作者 @jiayan97 和他有很多交流帮助到了我很多。 这篇文章希望可以帮助到您，另外如果我尚未解决好的问题，您若有一些好的见解，还希望可以多多交流。 我的邮箱是 parkbubble@163.com 。 正文 下载数据集 下载VG_100...
场景图生成论文阅读笔记 之 Neural Motifs
流觞时光
07-09 2474
CVPR2018 《Neural Motifs: Scene Graph Parsing with Global Context》 文章目录《Neural Motifs: Scene Graph Parsing with Global Context》针对问题问题分析Motifs概念文章创新网络模型实验结果 针对问题 ① 很多前人的工作是local prediction，未利用上下文信息（这一点与IMP针对的问题相同） ② 作者分析了VG数据集，发现具有很大的长尾效应（关系检测数据集的通病），并且很多关系类
探索Neural Motifs：一种新颖的深度学习方法用于场景理解
gitblog_00045的博客
04-17 1052
探索Neural Motifs：一种新颖的深度学习方法用于场景理解 neural-motifsCode for Neural Motifs: Scene Graph Parsing with Global Context (CVPR 2018)项目地址:https://gitcode.com/gh_mirrors/ne/neural-motifs 在计算机视觉领域，深度学习正在引领着我们进入一个...
neural-motifs-master.zip
06-25
目标跟踪类的相关代码 在16年或得冠军的代码 若有不足请指正
SceneGraphParser：用于将标题（以自然语言）解析为场景图（作为符号表示）的python工具包
02-03
SceneGraphParser SceneGraphParser（ sng_parser ）是一个python工具包，用于基于依赖项解析将句子（以自然语言）解析为场景图（作为符号表示）。 该项目的灵感来自。 与斯坦福版本不同，此解析器完全由Python编写。 它具有易于使用的用户界面和易于配置的设计。 它将句子解析为图，其中结点是名词（带有修饰词，如行列式或形容词），边缘是名词之间的关系。 请参阅示例部分以获取详细信息。 要点：该项目仍在开发中。 所有API均可进行任何更改。 注意：您可能会注意到，解析是通过解析树上的一组人工编写的规则完成的。 因此，我们需要每个人的帮助来收集当前程
Neural-Motifs 源码解读(2)：LinearizedContext类
weixin_38651565的博客
02-25 1061
GitHub: neural-motifs 流程图： feature_maprpn_headroi_proposalImagefmaprpn_featsrois obj_feature_mapscore_fcfmaproisobj_fmapod_obj_dists 描述如下： 得到fmap 图片x经过feature_map()操作得到大小为[batch_size, rpn_input_di...
Neural-Motifs 源码解读(1)：ObjectDetector类
weixin_38651565的博客
02-25 1585
Paper：Neural Motifs: Scene Graph Parsing with Global Context GitHub: neural-motifs 流程图： feature_maprpn_headroi_proposalImagefmaprpn_featsrois obj_feature_mapscore_fcfmaproisobj_fmapod_obj_dists 描述如下：...
Neural Motifs 项目使用教程
gitblog_00209的博客
09-10 369
Neural Motifs 项目使用教程 1、项目介绍 Neural Motifs 是一个用于场景图解析的开源项目，旨在通过全局上下文分析视觉场景中的结构化图表示。该项目由 Rowan Zellers 等人开发，并在 CVPR 2018 上发表了相关论文。Neural Motifs 分析了场景图中的“motifs”（即经常出现的子结构），并提供了新的定量见解，展示了对象标签对关系标签的高度预测性。...
Neural-Motifs 源码解读(4)：变量名缩写
weixin_38651565的博客
02-26 712
GitHub: neural-motifs 以下是我在阅读Neural-Motifs源码时遇到的一些不太常见的变量名缩写，熟悉这些缩写有利于对源码的理解。 od: object detector rm: relation model dists: distribution pred: argmax(dists) pred: predicate perm: permtation rep: repr...
【亲测免费】 探索场景理解新境界：Neural Motifs深度解析
最新发布
gitblog_00353的博客
09-10 438
探索场景理解新境界：Neural Motifs深度解析 在当今的人工智能领域，场景理解成为了视觉研究的热点之一。本文将为您详细介绍一个前沿的开源项目——Neural Motifs，这是一套基于CVPR 2018论文的技术解决方案，旨在通过引入全局上下文来优化场景图解析（Scene Graph Parsing）。该项目不仅为研究人员和开发者提供了一种新的视角去理解和构建复杂场景，同时也为AI应用带来...
Neural-Motifs 运行环境配置
weixin_38651565的博客
02-24 2091
Neural-Motifs 运行环境配置1 安装Anaconda2 安装Python3.6的虚拟环境3 激活虚拟环境4 安装PyTorch及torchvision5 安装所需包6 设置 PYTHONPATH Paper：Neural Motifs: Scene Graph Parsing with Global Context GitHub: neural-motifs 1 安装Anaconda ...
[GCPNet]Scene Parsing with Global Context Embedding
Jinming Su
03-14 963
Abstract 加州大学美熹德分校发表在ICCV 2017上的工作. 本文利用全局信息进行场景解析。训练基于场景相似度的网络来产生一张图片的全局信息特征关系，然后利用该信息产生全局和空间的先验知识。最后将这些先验知识作为全局上下文线索结合到分割网络中。实验辨明这种做法可以较少与全局信息相悖的假正例，最后在MIT ADE20k和PASCAL Context上达到了不错的性能. 本文的主要贡献...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值