论文阅读：Compositional Learning for Human Object Interaction

最新推荐文章于 2025-07-17 19:47:42 发布
原创 最新推荐文章于 2025-07-17 19:47:42 发布 · 3.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scene understand

该论文提出了一种基于组合学习的方法，用于解决人类对象交互（HOI）识别中的零样本学习问题。作者利用图卷积网络（GCN）捕捉动作的组合性质，并结合词嵌入来表示动词和名词，从而识别未在数据集中出现过的交互。实验表明，这种方法能够处理新组合，但与其他竞争方法相比，性能提升有限。

Compositional Learning for HOI（ECCV 2018）

文章
  作者的的想法是因为我们很难搜集到所有组合之间的interaction，所以必须会面临的问题就是要识别在数据集中从未见到过的情况，也就是HOI的zero shot learning。作者认为人的动作是具有compositional的性质的，而且人可以用不同的物体和工具达到类似的目的。比如我们可以用hammer去hit the nail，同样也可以用hard-cover book做相同的事情。因此作者考虑可以使用这种unique composition帮助实现新的动作。
  但是这种compositional的学习面临的一个主要的问题是：模型怎样可以学会在context中组合出新的动作。
  作者使用下面a中的graph来表示interaction。verb和noun通过圆形的action节点相连接，然后会存在某些verb-verb连接和noun-noun连接，我想这种连接应该是代表了某种相似性和可迁移的特性。
  首先，从知识库中提取出subject-verb-object（SVO）triplets建立一个外部的知识图。这个图覆盖了大部分的HOI，其中每个verb和noun节点都以其word embedding作为这个节点的特征。
在这里插入图片描述
  对于一张图片，将其visual特征记作x，其中的HOI记作y，而y又可以分解为一个verb和一个noun，分别记作 和

最低0.47元/天 解锁文章
Kivee123
关注
AdamTechLouis's talk:Deep Learning approaches to understand Human Reasoning
weixin_41697507的博客
06-03 547
For a doctor who is using Deep Learning to find whether the patient has multiple sclerosis, it is not at all good to get a yes or no answer from the model. For a safety critical application such as a...
HOTR: End-to-End Human-Object Interaction Detection with Transformers
weixin_43889476的博客
06-01 697
使用Transformer实现HOI检测,附带自己画的框架图,比较清晰的带你理解HOI检测的流程.
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
论文笔记之Detecting Human-Object Interaction via Fabricated Compositional Learning
加油
04-27 1312
解决HOI的长尾分布问题，通过引入一个物体制造器来生成有效的物体表示，然后将动词与虚构的物体进行组合以组成新的HOI样本，这样能够生成稀有和unseen类别的大规模HOI样本，从而减轻长尾问题。 CVPR2021 论文地址：https://arxiv.org/abs/2103.08214 代码地址：https://github.com/zhihou7/HOI-CL 1. 总述 从图像/视频中推断人与物体之间的关系的人物交互（HOI）检测是了解高级场景的一项基本任务。 但是，HOI检测通常会遇到交互类别的.
【Lifelong learning】Compositional Language Continual Learning
Baigker的博客
12-03 299
链接：https://openreview.net/forum?id=rklnDgHtDS 简介 在2019年之前，大多数终身学习（持续学习，LLL）主要应用于分类任务，有固定的输入和输出规模。 本文提出了一种新的LLL场景：处理语言学习中常见的seq2seq的任务。 构建持续的语言学习模式，提高组合性理解能力，是本文研究的核心。更具体地说，我们通过LLL来解决开放和增长的词汇问题的挑战。它需要优化两个目标： 将以前学到的知识转移，并与新的知识相结合。 习得的模型应该抵抗catastrophic forg
图像理解--Detecting and Recognizing Human-Object Interactions
AI小作坊 的博客
06-05 5434
Detecting and Recognizing Human-Object Interactions https://arxiv.org/abs/1704.07333大牛们已经从图像的检测分割向图像理解的研究方向过度了！本文主要关注图像中的 人 和 物体的关系检测和识别，这种关系可以用一个三元素
人物交互（human object interaction）论文汇总-2019年
加油
11-08 3454
1. Relation Parsing Neural Network for Human-Object Interaction Detection 1.1 总述 提出一种关系解析神经网络RPNN，由两部分组成：物体-身体部位图和人体-身体部位图，前者捕获身体部位与周围物体的关系，后者推断人体与身体部位的关系，并组合身体部位上下文信息以预测动作。这两个图由动作传递机制关联。 总的来说，网络基于人的特征预测动作发生的位置（参与交互物体的位置）的密度；基于物体特征预测每个动作的物体与人之间交互的概率。 1.2 网
人物交互（human object interaction）论文汇总-2020年
热门推荐
加油
11-08 1万+
1. Learning Human-Object Interaction Detection using Interaction Points 1.1 总述 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。作者认为，仅外观特征不足以捕获复杂的人与物体的相互作用。因此，在本文中，作者提出了一种新颖的全卷积方法，该方法直接检测人与物体之间的相互作用。 网络会预测交互点，这些交互点可以直接对交互进行定位和分类。与密集预测的交互向量配对，这些交互与人
人物交互（human object interaction）论文汇总-2018年
加油
11-08 5616
1. Detecting and Recognizing Human-Object Interactions 1.1 总述 中心思想是以人为中心。假设是一个人的外表信息（姿态、衣服、动作等）是确定与他们交互的物体的有力线索（人的外表信息对于定位参与交互的物体可能处于何处是很有帮助的，根据此可以进一步缩小参与交互的目标物体的搜索空间）。为了利用这个线索，本文的模型学习了根据检测到的人和人的外表信息来预测特定动作的物体位置的密度。 1.2 网络结构 主要分为三个分支：目标检测分支、人为中心分支、交互分支。其中
READING NOTE: Learning to Detect Human-Object Interactions
joshua_1988
02-28 1249
TITLE: Learning to Detect Human-Object Interactions
论文阅读：Learning Human-Object Interactions by Graph Parsing Neural Networks
Kivee的博客
09-13 3333
GPNN(ECCV2018) 文章   用来检测human-object interaction。Paper说提出GPNN的目的是为了在HOI任务中显式地对空间、时间（视频）以及human-object关系进行利用。   complete HOI指的是所有的node之间都有link，node包括human和object，假设node特征为d_V维，edge的特征为d_E维（从两个box...
Paper Reading: Detecting and Recognizing Human-Object Interactions
weixin_38328084的博客
05-06 462
Abstract Introduction 得益于深度学习的特征表征方法，基于视觉信号对单独个体进行识别的工作有了很大的提升，如物体检测和人的动作姿态估计。但是，识别单一个体只是机器进行视觉世界理解的一小步，对个体间关系的识别对图像理解尤为重要。本文中我们聚焦于人-物交互关系的研究。 人-物交互关系识别的任务可以理解成是对<人，动作，物品>三元组合的检测任务，该任务具有很大的应用价值和...
CVPR2018 Detecting and Recognizing Human-Object Interactions阅读笔记
yang_daxia的博客
10-11 415
1.Introduction 本文不仅检测object, 还把object分为human和物体, 考虑任何物体的关联关系. 目的是学习一个三元组关系<human, action, object> 2.method 作者 在fast rcnn基础上扩展来个分支, 获得三元组的score, 该score由4部分组成: Sh,oa=sh⋅so⋅sha⋅gh,oa(1) S_{h, o}^...
Human-Object Interaction (HOI) synthesis
最新发布
轻舟已过万重山
07-17 588
Human-Object Interaction (HOI) synthesis refers to the generation of realistic interactions between humans and objects in virtual or physical environments. Unlike HOI recognition (which focuses on detecting existing interactions), HOI synthesis aims to cre
论文笔记之Learning Human-Object Interaction Detection using Interaction Points
加油
07-25 2868
直接预测人-物的交互点和交互向量（用于分组），再与人/物检测结果关联得到最终结果。 CVPR2020接收 论文地址：https://arxiv.org/abs/2003.14023 1. 摘要 理解人与物体之间的相互作用是视觉分类的基本问题之一，也是实现详细场景理解的重要步骤。人与物体之间的交互（HOI）检测力求既定位人与物体，又确定它们之间的复杂交互。 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。 作者认为，仅外观特征不足以捕获复杂.
Learning to Detect Human-Object Interactions
qq_40523516的博客
06-02 790
WACV2017 Author:Yu-Wei Chao 摘要 我们为HOI检测提出一个新的benchmark，HICO-DET。提出一个新模型HO-RCNN。模型的核心是Interaction Pattern，一种描述两个边界框之间空间关系的新型DNN输入。 1.介绍 本文主要有两个贡献：（1）提出HICO-DET数据集，它提供了超过15w个标注的人-对象对，跨越在HICO中的600个类别，即平均每个类别有250个实例。（2）提出了HO-RCNN，这是一种基于DNN的可以将检测单个bbox扩展到一对
ECCV 2018| Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
weixin_59340037的博客
04-20 1124
本文主要是为了解决图像和视频中的HOI任务，引入了图解析神经网络（GPNN），是一个利用结构知识的端到端的可分辨结构。给出一个场景，GPNN能够推断出一个解析图，并且包含（1）使用邻接矩阵表示的图结构（2）节点标签。当消息传递到网络中是，GPNN就会迭代计算出邻接矩阵与节点标签。在V-COCO、HICO-DET、CAD-120上评估该方法都取得了较好的效果。 论文地址：http://cn.arxiv.org/abs/1808.07962 代码地址：https://github.com/SiyuanQi/gp
论文笔记：Transferable Interactiveness Knowledge for Human-Object Interaction Detection(CVPR2019)
王小石的博客
05-11 369
核心思想：学习Interactiveness Knowledge来判断是否存在人与物体的交互。用图来表示图片中的实例和关系，实例是节点，关系是边，如果采用穷举法配对，将会产生大量的边，其中大部分没有交互关系的边都应该被舍弃。 思路：任何HOI数据集都可以转换成二分类标签，用来学习Interactiveness Knowledg。先用Interactiveness Knowledge进行Non-Interaction抑制，得到稀疏图，再进行交互关系的分类。 具体： 1.包括三部分：特征表示R、交互判断P、交互
Cascaded Human-Object Interaction Recognition论文阅读笔记
qq_46805191的博客
04-15 914
笔记 现有的方法大都采用single-stage的推理线，考虑到任务的复杂性，作者提出了一种采用级联结构，多分支，从粗糙到细致的HOI理解。 如图1，作者的模型包含了一个实例定位网络和一个交互识别网络。这两个网络都以级联的形式工作，通过实例定位网络，一步一步的增强选择的实例，proposal的质量提高，对于接下来的相关表示也是非常有用的。而且也可以实现更好的动作预测。 如图2可以看出两种模式的区别，a表示的是single stage方法，b是作者提出的级联结构，这种结构不仅可以解决HOI检测的问题，还可
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值