论文阅读：Rethinking Visual Relationships for High-level Image Understanding

视觉关系检测新视角：构建VrR-VG数据集
最新推荐文章于 2024-06-20 23:28:12 发布
原创 最新推荐文章于 2024-06-20 23:28:12 发布 · 834 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scene understand

论文提出了一种方法来过滤Visual Genome数据集中视觉不相关的关系样本，创建了VrR-VG数据集，挑战了仅依赖统计的视觉关系检测。通过visually-relevant relationship discriminator，过滤掉可通过非视觉信息预测的关系，使得数据更加聚焦于真正的视觉关系，推动了高阶图像理解的研究。

VrR-VG

文章
  本文想解决的问题是，对于视觉关系检测这一任务来说，在目前常用的权威数据集Visual Genome的一个子集VG150（VG中出现频率最高的150类物体和50类关系）上，直接可以依赖统计的方法解决得比较好，这不利于关系检测的进一步研究，因此文章设计了一个网络可以滤除掉VG数据集中那些视觉无关（visually-irrelevant）的关系样本。在新的数据集上，基于频率的方法不再有效。

如上图(a)就是VG150中的一个场景图描述，(b)则是本文的的方法对VG清洗之后留下的场景图描述（Visually-relevant Relationships in Visual Genome，VrR-VG）。其实我们也可以大概看出来，(b)的话更难使用频率进行关系类别的判断。

  为了滤除掉视觉不相关的关系样本，本文设计了一个visually-relevant relationship discriminator，思想就是“如果一个关系样本，在利用除视觉信息以外的特征，如物体类别和边界框位置就能较好地预测得话，那么这个样本就是视觉不相关的。”下面是本文的discriminator的结构

输入是主语和宾语的类别词向量和边界框的信息，p_o和p_s是主语和宾语边界框的(x,y,w,h)，p_j则是两个框的一些相对位置信息如下

最低0.47元/天 解锁文章
Kivee123
关注
【论文解读】C3DVQA: FULL-REFERENCE VIDEO QUALITY ASSESSMENT WITH 3D CONVOLUTIONAL NEURAL NETWORK
世界那么大，我想去看看～【偶尔更新，看世界去了😄】
08-13 477
【论文解读】C3DVQA: FULL-REFERENCE VIDEO QUALITY ASSESSMENT WITH 3D CONVOLUTIONAL NEURAL NETWORK
【ECCV2020】完整论文集part2
TomRen
07-18 7983
ECCV2020 接收论文完整列表 看论文学CV
每日论文Transient Attributes for High-Level Understanding and Editing of Outdoor Scenes
u010032054的博客
03-09 676
这篇文章可以将图像转化天气气候属性，比如一副图像的春天夏天或者雾天晴天干燥等。图像转化的非常自然。 这篇文章主要创新点有：1.101个室外摄像头里面的捕捉的比较大变化的图片，并用众包标签了它。2.用训练回归器来识别属性。3.同时制作了用户界面可以改变想改变的属性。4,.可以对一个任意图像根据建立的图像数据库匹配进行自然转化。文中用学习认识属性的方法提出了三种:SVM,log,SVR,评估的方法用
Rethinking Visual Geo-localization for Large-Scale Applications 论文阅读CosPlace
weixin_44411392的博客
05-16 1449
作者文章：地址 github代码：地址 一、作者的motivation 在自动驾驶中往往需要更大尺度的场景，面对大尺度场景需要克服两个限制： （1）Non-representative数据集 当前存在的数据集在大尺度实际场景应用，无法表现的太好，主要原因： 覆盖的地理区域太小 场景图片地理分布太稀疏，如下图中MSLS 当前存在的数据集都是分割成地理位置不相交的集合，用于训练和推理 弊端：在这些数据集进行训练，没有找到真世界中场景的相关性 （2）Scalability of training 当前热门的
Visual Genome数据集简介
duoyasong5907的博客
03-29 6173
VG数据集
论文解读：Where To Look: Focus Regions for Visual Question Answering
yeal
11-21 1170
可能要很久时间开始关注vqa问题，vqa问题就是图像的问答问题，即对图像提问，并产生答案。关于图像问答综述性文章推荐：Visual Question Answering: Datasets, Algorithms, and Future Challenges。今天开始可能要跟大家分析关于vqa的相关论文解读，今天是第一篇文章Where To Look: Focus Regions for Visu...
CVPR 2022 论文列表（持续更新）
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为优快云的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2869
CVPR2022完整论文列表
scene graph generation benchmark关于visual genome的数据划分（train，test，val）
weixin_44151034的博客
06-20 1089
很多做scene graph generation，准备测试的同学，发现visual genome并没有提供官方的训练train，测试test，验证val数据集划分。不过我们可以参考的相关代码，然后找到这个代码里对VG150数据的划分，并参考这个领域对VG150的数据的划分，来划分VG150并进行验证。我们进入scene graph generation benchmark的代码，在这个文件里打上断点。
VrR-VG：重新关注与视觉相关的关系
05-11
VrR-VG：重新关注与视觉相关的关系
不知道扩展vg relation 种类数
冬炫的博客
06-11 377
不知道扩展vg relation 种类数，现在市面上都是VG150的身影了.... 但是检测的种类又那么多，尝试扩展微软模块neural motif 谓词种类数量......
12大类150个图像处理和深度学习开源数据集
热门推荐
youcans的博客
10-12 3万+
本文整理了150 个深度学习和图像处理领域的开源数据集，包括：目标检测、人脸识别、文本识别、图像分类、缺陷检测、医学影像、图像分割、图像去雾、关键点检测、动作识别、姿态估计、自动驾驶和 RGBT 等12个方向。
场景图生成论文阅读笔记 之 AVR：Attention based Salient Visual Relationship Detection
流觞时光
09-28 617
AVR：Attention based Salient Visual Relationship Detection arXiv2020 我是目录????针对问题算法思想算法内容Predicate Prediction ModuleAttention Module利用数据集先验知识部分 针对问题 以前的工作都对一幅图像中所有可见的关系都一视同仁，而一些不重要的关系会对结果在一定程度上造成影响，因此需要筛选出更显著(salient)的关系对。 算法思想 结合视觉特征、语义信息(类别标签)、空间信息(位置)预测关
场景图生成综述
Mr___WQ的博客
03-30 1万+
场景图是对场景的结构化表示，可以清晰地表达场景中的对象、属性和对象之间的关系。随着计算机视觉技术的不断发展，人们不再满足于简单地检测和识别图像中的物体;相反，人们期待对视觉场景有更高层次的理解和推理。例如，给定一张图像，我们不仅要检测和识别图像中的物体，还要了解物体之间的关系(视觉关系检测)，并根据图像内容生成文本描述(图像字幕)。或者，我们可能希望机器告诉我们图像中的小女孩在做什么(视觉问答(VQA))，甚至从图像中删除狗并找到类似的图像(图像编辑和检索)，等等。
Dataset - Visual Genome 数据集
长风破浪会有时，直挂云帆济沧海
01-18 1万+
Visual Genome dataset Visual Genome 主页 Visual Genome Data Visual Genome Readme Visual Genome 数据集总览： 108077 张图片 5.4 Million Region Descriptions 1.7 Million Visual Question Answers 3.8 Million Obj...
Visual Genome 数据集标注内容
Aimer_Chen的博客
07-15 2499
2、Visual Genome 的数据表现 Visual Genome 数据集包括 7 个主要部分：区域描述、对象、属性、关系、区域图、场景图和问答对。图 4 展示了一幅画的每一个部分的例子。要对图像进行理解的研究，我们从收集描述和问答对开始。这些是原始的文本，没有任何长度和词汇的限制。下一步，我们从描述中提取对象、属性和关系。这些对象、属性和关系一起构造了我们的场景图，这代表了一般的图像。在这个...
关于VG数据集的分析
zhuozhuomin的博客
07-13 1269
选自Neural Motifs: Scene Graph Parsing with Global Context文章
数据集查找神器！100个大型机器学习数据集都汇总在这了 | 资源
量子位
03-21 1317
铜灵 发自 凹非寺量子位 出品| 公众号 QbitAI想自己构建机器学习模型，没想到首先就卡在了第一步。网上各种数据集鱼龙混杂，质量也参差不齐，简直让人挑花了眼。想要获取...
TransUNet: Rethinking the U-Net architecture design for medical image segmentation through
最新发布
06-09
### TransUNet架构设计及其在医学图像分割中的改进 TransUNet 是一种结合了 Transformer 和 U-Net 的混合架构，旨在解决传统卷积神经网络（CNN）在处理长距离依赖和复杂特征时的不足。以下是 TransUNet 的核心设计和改进： #### 1. 架构概述 TransUNet 将 Transformer 引入到传统的 U-Net 结构中，通过以下方式增强其性能： - **Transformer Encoder**：利用多头自注意力机制（Multi-head Self-Attention, MHSA），捕捉全局上下文信息[^4]。 - **Decoder**：采用与 U-Net 类似的解码器结构，结合跳过连接（Skip Connection）恢复高分辨率特征图[^5]。 这种设计使得 TransUNet 能够在保持计算效率的同时，显著提升对复杂医学图像的分割精度。 #### 2. 改进点分析 TransUNet 在医学图像分割任务中引入了以下关键改进： - **长距离依赖建模**：相比于传统的 CNN，Transformer 的自注意力机制能够更好地捕捉图像中的长距离依赖关系，这对于医学图像中需要精确分割的小目标尤其重要[^6]。 - **多尺度特征融合**：通过结合 Transformer 和 CNN 的优势，TransUNet 能够在不同尺度上提取特征，并通过跳跃连接将这些特征有效融合[^7]。 - **轻量化设计**：尽管引入了 Transformer，TransUNet 仍然保持了较低的计算复杂度，这得益于其模块化的设计和高效的实现方式[^8]。 #### 3. 实现细节 以下是 TransUNet 的实现步骤和代码示例： ```python import torch import torch.nn as nn from transformer import Transformer class TransUNet(nn.Module): def __init__(self, img_size=224, patch_size=16, in_channels=3, num_classes=2, embed_dim=768, depth=12, num_heads=12): super(TransUNet, self).__init__() self.encoder = Transformer(img_size, patch_size, in_channels, embed_dim, depth, num_heads) self.decoder = UNetDecoder(embed_dim, num_classes) def forward(self, x): encoded_features = self.encoder(x) # Extract features using Transformer output = self.decoder(encoded_features) # Decode to generate segmentation map return output class UNetDecoder(nn.Module): def __init__(self, input_dim, num_classes): super(UNetDecoder, self).__init__() self.upconv1 = nn.ConvTranspose2d(input_dim, 512, kernel_size=2, stride=2) self.upconv2 = nn.ConvTranspose2d(512, 256, kernel_size=2, stride=2) self.final_conv = nn.Conv2d(256, num_classes, kernel_size=1) def forward(self, x): x = self.upconv1(x) x = self.upconv2(x) x = self.final_conv(x) return x ``` #### 4. 实验结果与比较 实验表明，TransUNet 在多个医学图像分割数据集上表现出色。例如，在 CT 腹部图像分割任务中，TransUNet 的 Dice 系数显著高于传统的 U-Net 和 Attention U-Net[^9]。此外，TransUNet 还展示了良好的泛化能力，能够在不同规模的数据集上保持稳定的性能[^10]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值