论文阅读：iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection

iCAN改进详解
最新推荐文章于 2024-02-16 15:46:52 发布
原创 最新推荐文章于 2024-02-16 15:46:52 发布 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scene understand

本文介绍iCAN(BMVC2018)在InteractNet上的改进成果，实现了V-COCO45.3%的成绩。重点在于计算h或o到a的分数时，不仅使用其本身的特征，还融合了根据实例产生的注意力在原图特征上获得的上下文特征。同时，通过空间交互模式判断h和o的关系。
部署运行你感兴趣的模型镜像

iCAN(BMVC2018)

文章

  在InteractNet上做的改进,达到了 V-COCO 45.3%。

  • 在由h或者o计算a的分数时，不止用它们本身的特征，还concat了context特征，contex特征则是根据intance产生的注意力在原图的特征上得到的。
  • 同样需要判断h和o是否有关系，该方法是用空间的interaction pattern（neural-motif中有这个）并concat
    human instance计算得到的。
    这里写图片描述
    这里写图片描述

您可能感兴趣的与本文相关的镜像

Linly-Talker

Linly-Talker

AI应用

Linly-Talker是一款创新的数字人对话系统，它融合了最新的人工智能技术，包括大型语言模型（LLM）、自动语音识别（ASR）、文本到语音转换（TTS）和语音克隆技术

Kivee123
关注
HOI BMVC2018| iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection论文阅读笔记
weixin_59340037的博客
04-15 1473
近年来，对于检测和识别单个物体实例取得了飞速的发展，但是如果要理解一个场景中的情况，计算机需要识别出人与周围的物体是如何交互的，本文的核心思想是人体或物体实例的外观特征包含信息线索，这些图像相关的部分需要注意的线索以促进交互预测。为了利用这些线索，我们提出了以实例为中的注意力模块，这个模块学习根据每个实例的外观动态的突出图像的区域。这种基于注意力的网络使得我们能够有选择地聚合与HOI识别相关的特征。
iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection 论文阅读笔记
sunshine__0411的博客
10-08 2789
摘要 本文研究场景图中人-物交互问题。其核心思想是人或物体实例的外观包含指示线索，利用这些信息可以注意到图像中可以促进交互预测的部分。为了利用这些线索，研究者提出了一个以实例为中心的注意力模块，学习根据每个实例的外观动态突出显示图像中的区域。这种基于注意力的网络允许研究者选择性地聚合与识别 HOI相关的特征。   一、引言   HOI：人-物交互检测，旨在定位人、物体并识别人与物体之...
Python-iCAN用于人物交互检测的以实例为中心的注意网络实现
08-11
[BMVC 2018] iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection
论文笔记之ICAN
加油
06-11 850
利用注意力模块，为每一个检测到的人或物体生成注意力图以突出显示与任务相关的区域 被接收 论文地址： https://arxiv.org/pdf/1808.10437.pdf 1. 摘要 本文提出了端到端可训练的以实例为中心的注意力模块用于学习使用人或外观突出信息区域的物体实例。我们的直觉是一个实例的外观（无论是人还是物）提供关于图像中我们应该注意的位置的提示。例如，到更好地确定一个人是否携带物体，应该将其注意力集中在物体上人的手周围的区域。另一方面，给一个图像中的自行车，参加对附近人的姿势有助于消除所涉.
Learning Human-Object Interactions by Graph Parsing Neural Networks代码学习（Ubuntu+pycharm）
qq_40250617的博客
05-19 1916
１．class GPNN_HICO(torch.nn.Module)：　类 　　torch.nn.Module这个类内部有多达４８个函数，是ｐｙｔｏｒｃｈ中所有神经网络模型的基类；GPNN_HICO继承了torch.nn.Module这个类，成为了torch.nn.Module的子类， ２．def __init__(self, model_args):　方法 　　ｓｅｌｆ是定义每个类的方法 ...
HOTR: End-to-End Human-Object Interaction Detection with Transformers论文阅读笔记
weixin_59340037的博客
03-18 1464
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、本文的内容二、研究方法1.detection as set prediction2.HOTR 结构训练HOTR欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UM.
论文笔记之Learning Human-Object Interaction Detection using Interaction Points
加油
07-25 2868
直接预测人-物的交互点和交互向量（用于分组），再与人/物检测结果关联得到最终结果。 CVPR2020接收 论文地址：https://arxiv.org/abs/2003.14023 1. 摘要 理解人与物体之间的相互作用是视觉分类的基本问题之一，也是实现详细场景理解的重要步骤。人与物体之间的交互（HOI）检测力求既定位人与物体，又确定它们之间的复杂交互。 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。 作者认为，仅外观特征不足以捕获复杂.
paper reading(2)-HOTR: End-to-End Human-Object Interaction Detection with Transformers
qq_41882866的博客
05-12 1363
注：该文章取自CVPR2021 源码： Abstract 首先介绍了一下HOI任务：检测人与物体交互关系的任务，包含 i)定位交互的主体和客体 ii)交互标签的分类 大多数现有的方法是通过检测人和对象，分别推断每一对直接的关系，但这种方法是间接地解决问题。 本文提出了HOTR框架，基于transformer的encoder-decoder结构直接预测（人，物体，交互）的三元组集合。这种预测集合的方法，有效地利用了内部语义关系，节约了时间成本。 1. Introduction 先前解决HOI的方法是，先进行对
Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
qq_46805191的博客
03-17 662
前言 这是一篇2018年发表在ECCV上得paper，论文原文点这里。 笔记 说实话刚看到这篇文章还是有点唬人的，文中作者提出了一个网络模型叫GPNN，图解析神经网络，我以为是跟GNN有关系，花了一些时间去看了近些年GCN的一些发展回头又读这篇文章的时候把GCN的思想带进去发现怎么都读不懂，后来才发现这篇文章仅仅是用了图的“结构”，后边的网络仍然是正常的Conv2D卷积。 作者介绍，其提出了GPNN，一个可以结合结构知识和深度神经网络的学习能力的端到端的模型框架。对于给定的情景（一张图片），GPN
论文阅读：Learning Human-Object Interactions by Graph Parsing Neural Networks
Kivee的博客
09-13 3333
GPNN(ECCV2018) 文章   用来检测human-object interaction。Paper说提出GPNN的目的是为了在HOI任务中显式地对空间、时间（视频）以及human-object关系进行利用。   complete HOI指的是所有的node之间都有link，node包括human和object，假设node特征为d_V维，edge的特征为d_E维（从两个box...
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
ECCV 2018| Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
weixin_59340037的博客
04-20 1126
本文主要是为了解决图像和视频中的HOI任务，引入了图解析神经网络（GPNN），是一个利用结构知识的端到端的可分辨结构。给出一个场景，GPNN能够推断出一个解析图，并且包含（1）使用邻接矩阵表示的图结构（2）节点标签。当消息传递到网络中是，GPNN就会迭代计算出邻接矩阵与节点标签。在V-COCO、HICO-DET、CAD-120上评估该方法都取得了较好的效果。 论文地址：http://cn.arxiv.org/abs/1808.07962 代码地址：https://github.com/SiyuanQi/gp
Deep Contextual Attention for Human-Object Interaction Detection阅读笔记
qq_46805191的博客
03-25 599
前言 论文地址 笔记 这篇文章写的非常清楚，我们直奔主题就好，作者提出了一个基于上下文注意力机制的网络，这个网络可以通过学习contextually-aware appearance特征来利用上下文信息识别HOI的模型。并且这个提出的注意力机制模型还能自适应的选取相关的以实例为中心的上下文信息去增强可能包含HOI的图像区域。 直接来看整个框架 比较新的东西就是红色矩形标出的context-Aware Appearance和Contextual Attention。其他部分都是之前提到过的，特别是上边的
ICCV 2019 |Deep Contextual Attention for Human-Object Interaction Detection论文阅读笔记
weixin_59340037的博客
04-19 3647
人物交互检测是视觉关系检测任务中非常重要的一类任务，对于场景的深入理解至关重要，现在很多方法将其分解为目标定位与交互识别，尽管取得了一定的进展，但是这些方法仅仅依赖于人和物体的外观而忽略掉有效的上下文信息，但是这些信息对于捕获他们之间的细微交互是非常重要的。本文提出了一个用于人物交互检测的上下文注意力框架，该方法通过学习实例的上下文感知外观特征来利用上下文信息，然后使用注意力模块自适应的选择与实例相关的上下文信息，以突出可能包含人物交互的图像区域。该方法在V-COCO上获得了4.4%的mAProle的提高.
图像理解--Detecting and Recognizing Human-Object Interactions
AI小作坊 的博客
06-05 5434
Detecting and Recognizing Human-Object Interactions https://arxiv.org/abs/1704.07333大牛们已经从图像的检测分割向图像理解的研究方向过度了！本文主要关注图像中的 人 和 物体的关系检测和识别，这种关系可以用一个三元素
Contextual Heterogeneous Graph Network for Human-Object Interaction Detection论文阅读笔记
qq_46805191的博客
04-02 429
前言 论文地址 笔记 这篇论文很像之前的GPNN，也是将HOI描述成图，利用图的结构来构建网络。但是这篇文章指出，前边的GPNN及其他类似的网络，都将human和object当作一样的节点，但是这篇文章认为，他们应该属于两个不同种类的节点，这样进行分类更好。 如图1所示，在本文的做法当中，会将一张图片中的自行车和人标记为不同的节点，例如人都是红色框标注，物体都是蓝色框标注，同一类的节点在文中称之为homogeneous nodes它们之间称为intra-class，而不同类的节点称为heterogene
CVPR 2020 | 旷视研究院提出新型人-物交互检测框架，实现当前最佳
旷视开发者技术社区
06-05 1509
IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 大会官...
人物交互检测的实例中心注意网络
最新发布
weixin_48433993的博客
02-16 1720
由于视觉关系检测或场景图生成的目标之一是理解图像中的物体及其之间的关系，而这些关系往往可以通过自然语言进行描述，因此可以利用自然语言处理中的语言先验知识来帮助模型理解图像中的关系。在这个图结构中，图像中的目标对应图中的节点（graph node），而目标之间的关系则对应图中的边（graph edge）。如图2所示，编码上下文的示例包括选择一个辅助框[13]，使用人和对象边界框[29]的并集，提取人姿态关键点[6]周围的特征，或者从整个图像[31]中利用全局上下文。的属性，并将其初始化为一个空字典。
人物交互（human object interaction）论文汇总-2018年
加油
11-08 5616
1. Detecting and Recognizing Human-Object Interactions 1.1 总述 中心思想是以人为中心。假设是一个人的外表信息（姿态、衣服、动作等）是确定与他们交互的物体的有力线索（人的外表信息对于定位参与交互的物体可能处于何处是很有帮助的，根据此可以进一步缩小参与交互的目标物体的搜索空间）。为了利用这个线索，本文的模型学习了根据检测到的人和人的外表信息来预测特定动作的物体位置的密度。 1.2 网络结构 主要分为三个分支：目标检测分支、人为中心分支、交互分支。其中
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值