论文阅读：Compositional Learning for Human Object Interaction

最新推荐文章于 2025-05-22 11:17:22 发布
原创 最新推荐文章于 2025-05-22 11:17:22 发布 · 3.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scene understand

该论文提出了一种基于组合学习的方法，用于解决人类对象交互（HOI）识别中的零样本学习问题。作者利用图卷积网络（GCN）捕捉动作的组合性质，并结合词嵌入来表示动词和名词，从而识别未在数据集中出现过的交互。实验表明，这种方法能够处理新组合，但与其他竞争方法相比，性能提升有限。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Compositional Learning for HOI（ECCV 2018）

文章
  作者的的想法是因为我们很难搜集到所有组合之间的interaction，所以必须会面临的问题就是要识别在数据集中从未见到过的情况，也就是HOI的zero shot learning。作者认为人的动作是具有compositional的性质的，而且人可以用不同的物体和工具达到类似的目的。比如我们可以用hammer去hit the nail，同样也可以用hard-cover book做相同的事情。因此作者考虑可以使用这种unique composition帮助实现新的动作。
  但是这种compositional的学习面临的一个主要的问题是：模型怎样可以学会在context中组合出新的动作。
  作者使用下面a中的graph来表示interaction。verb和noun通过圆形的action节点相连接，然后会存在某些verb-verb连接和noun-noun连接，我想这种连接应该是代表了某种相似性和可迁移的特性。
  首先，从知识库中提取出subject-verb-object（SVO）triplets建立一个外部的知识图。这个图覆盖了大部分的HOI，其中每个verb和noun节点都以其word embedding作为这个节点的特征。

最低0.47元/天 解锁文章
Kivee123
关注
AdamTechLouis's talk:Deep Learning approaches to understand Human Reasoning
weixin_41697507的博客
06-03 520
For a doctor who is using Deep Learning to find whether the patient has multiple sclerosis, it is not at all good to get a yes or no answer from the model. For a safety critical application such as a...
HOTR: End-to-End Human-Object Interaction Detection with Transformers
weixin_43889476的博客
06-01 665
使用Transformer实现HOI检测,附带自己画的框架图,比较清晰的带你理解HOI检测的流程.
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
论文笔记之Detecting Human-Object Interaction via Fabricated Compositional Learning
加油
04-27 1252
解决HOI的长尾分布问题，通过引入一个物体制造器来生成有效的物体表示，然后将动词与虚构的物体进行组合以组成新的HOI样本，这样能够生成稀有和unseen类别的大规模HOI样本，从而减轻长尾问题。 CVPR2021 论文地址：https://arxiv.org/abs/2103.08214 代码地址：https://github.com/zhihou7/HOI-CL 1. 总述 从图像/视频中推断人与物体之间的关系的人物交互（HOI）检测是了解高级场景的一项基本任务。 但是，HOI检测通常会遇到交互类别的.
HOI原理，GNN，相关论文
最新发布
qq_62780581的博客
05-22 1046
GNN 是处理图数据的强大工具，其核心思想是通过消息传递和特征更新来捕捉节点间的关系。实现步骤包括定义图结构、初始化参数、执行消息传递和输出层计算。通过各种变种（如GCN、GAT），GNN 能够适应不同的图任务需求，成为深度学习领域的重要组成部分。GNN在计算注意力中的应用。
图像理解--Detecting and Recognizing Human-Object Interactions
AI小作坊 的博客
06-05 5401
Detecting and Recognizing Human-Object Interactions https://arxiv.org/abs/1704.07333大牛们已经从图像的检测分割向图像理解的研究方向过度了！本文主要关注图像中的 人 和 物体的关系检测和识别，这种关系可以用一个三元素
【Lifelong learning】Compositional Language Continual Learning
Baigker的博客
12-03 259
链接：https://openreview.net/forum?id=rklnDgHtDS 简介 在2019年之前，大多数终身学习（持续学习，LLL）主要应用于分类任务，有固定的输入和输出规模。 本文提出了一种新的LLL场景：处理语言学习中常见的seq2seq的任务。 构建持续的语言学习模式，提高组合性理解能力，是本文研究的核心。更具体地说，我们通过LLL来解决开放和增长的词汇问题的挑战。它需要优化两个目标： 将以前学到的知识转移，并与新的知识相结合。 习得的模型应该抵抗catastrophic forg
人物交互（human object interaction）论文汇总-2019年
加油
11-08 3397
1. Relation Parsing Neural Network for Human-Object Interaction Detection 1.1 总述 提出一种关系解析神经网络RPNN，由两部分组成：物体-身体部位图和人体-身体部位图，前者捕获身体部位与周围物体的关系，后者推断人体与身体部位的关系，并组合身体部位上下文信息以预测动作。这两个图由动作传递机制关联。 总的来说，网络基于人的特征预测动作发生的位置（参与交互物体的位置）的密度；基于物体特征预测每个动作的物体与人之间交互的概率。 1.2 网
人物交互（human object interaction）论文汇总-2020年
热门推荐
加油
11-08 1万+
1. Learning Human-Object Interaction Detection using Interaction Points 1.1 总述 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。作者认为，仅外观特征不足以捕获复杂的人与物体的相互作用。因此，在本文中，作者提出了一种新颖的全卷积方法，该方法直接检测人与物体之间的相互作用。 网络会预测交互点，这些交互点可以直接对交互进行定位和分类。与密集预测的交互向量配对，这些交互与人
人物交互（human object interaction）论文汇总-2018年
加油
11-08 5551
1. Detecting and Recognizing Human-Object Interactions 1.1 总述 中心思想是以人为中心。假设是一个人的外表信息（姿态、衣服、动作等）是确定与他们交互的物体的有力线索（人的外表信息对于定位参与交互的物体可能处于何处是很有帮助的，根据此可以进一步缩小参与交互的目标物体的搜索空间）。为了利用这个线索，本文的模型学习了根据检测到的人和人的外表信息来预测特定动作的物体位置的密度。 1.2 网络结构 主要分为三个分支：目标检测分支、人为中心分支、交互分支。其中
Unconstrained Face Alignment via Cascaded Compositional Learning
09-13
2016 CVPR Unconstrained Face Alignment via Cascaded Compositional Learning 部分翻译和个人理解，可以互相交流下，通过csdn博客 分享给热爱学习，热爱思考，喜欢讨论的朋友们
READING NOTE: Learning to Detect Human-Object Interactions
joshua_1988
02-28 1210
TITLE: Learning to Detect Human-Object Interactions
论文阅读：Learning Human-Object Interactions by Graph Parsing Neural Networks
Kivee的博客
09-13 3300
GPNN(ECCV2018) 文章   用来检测human-object interaction。Paper说提出GPNN的目的是为了在HOI任务中显式地对空间、时间（视频）以及human-object关系进行利用。   complete HOI指的是所有的node之间都有link，node包括human和object，假设node特征为d_V维，edge的特征为d_E维（从两个box...
Paper Reading: Detecting and Recognizing Human-Object Interactions
weixin_38328084的博客
05-06 437
Abstract Introduction 得益于深度学习的特征表征方法，基于视觉信号对单独个体进行识别的工作有了很大的提升，如物体检测和人的动作姿态估计。但是，识别单一个体只是机器进行视觉世界理解的一小步，对个体间关系的识别对图像理解尤为重要。本文中我们聚焦于人-物交互关系的研究。 人-物交互关系识别的任务可以理解成是对<人，动作，物品>三元组合的检测任务，该任务具有很大的应用价值和...
CVPR2018 Detecting and Recognizing Human-Object Interactions阅读笔记
yang_daxia的博客
10-11 388
1.Introduction 本文不仅检测object, 还把object分为human和物体, 考虑任何物体的关联关系. 目的是学习一个三元组关系<human, action, object> 2.method 作者 在fast rcnn基础上扩展来个分支, 获得三元组的score, 该score由4部分组成: Sh,oa=sh⋅so⋅sha⋅gh,oa(1) S_{h, o}^...
论文笔记之Learning Human-Object Interaction Detection using Interaction Points
加油
07-25 2800
直接预测人-物的交互点和交互向量（用于分组），再与人/物检测结果关联得到最终结果。 CVPR2020接收 论文地址：https://arxiv.org/abs/2003.14023 1. 摘要 理解人与物体之间的相互作用是视觉分类的基本问题之一，也是实现详细场景理解的重要步骤。人与物体之间的交互（HOI）检测力求既定位人与物体，又确定它们之间的复杂交互。 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。 作者认为，仅外观特征不足以捕获复杂.
Learning to Detect Human-Object Interactions
qq_40523516的博客
06-02 745
WACV2017 Author:Yu-Wei Chao 摘要 我们为HOI检测提出一个新的benchmark，HICO-DET。提出一个新模型HO-RCNN。模型的核心是Interaction Pattern，一种描述两个边界框之间空间关系的新型DNN输入。 1.介绍 本文主要有两个贡献：（1）提出HICO-DET数据集，它提供了超过15w个标注的人-对象对，跨越在HICO中的600个类别，即平均每个类别有250个实例。（2）提出了HO-RCNN，这是一种基于DNN的可以将检测单个bbox扩展到一对
ECCV 2018| Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
weixin_59340037的博客
04-20 1089
本文主要是为了解决图像和视频中的HOI任务，引入了图解析神经网络（GPNN），是一个利用结构知识的端到端的可分辨结构。给出一个场景，GPNN能够推断出一个解析图，并且包含（1）使用邻接矩阵表示的图结构（2）节点标签。当消息传递到网络中是，GPNN就会迭代计算出邻接矩阵与节点标签。在V-COCO、HICO-DET、CAD-120上评估该方法都取得了较好的效果。 论文地址：http://cn.arxiv.org/abs/1808.07962 代码地址：https://github.com/SiyuanQi/gp
PCT: Human Pose as Compositional Tokens的预训练模型
03-28
### PCT: Human Pose as Compositional Tokens 预训练模型下载与实现 #### 关于预训练模型 论文《Human Pose as Compositional Tokens》提出了通过 VQ-VAE 结构学习姿态特征编码的方法，并将其应用于姿态估计任务。为了提升模型性能，作者引入了 SimMIM 方法作为 Backbone 的预训练策略[^2]。SimMIM 是一种基于掩码图像建模的任务，能够有效增强视觉模型的表示能力。 如果需要获取该论文中的预训练模型或其实现代码，可以参考以下方法： 1. **官方资源** 论文通常会附带开源代码仓库链接。根据引用信息，可以在 ArXiv 页面找到论文原文及其关联的 GitHub 仓库（如果有）。具体来说，在论文页面上查找 “Code” 或者相关链接部分。如果没有直接提供，可以通过搜索引擎查询关键词 `PCT Human Pose as Compositional Tokens github` 找到社区维护的相关实现[^3]。 2. **第三方实现** 如果官方未发布完整的预训练权重文件，也可以尝试寻找由研究社区开发的第三方实现版本。许多研究人员会在 Hugging Face Model Hub、TensorFlow Hub 或 PyTorch Hub 上分享他们的工作成果。例如，搜索 `VQ-VAE pose estimation pytorch pretrained` 可能会有帮助。 3. **自行复现** 若无法获得现有模型，则可以根据论文描述手动构建整个流程。以下是主要步骤概述： - 使用 SimMIM 对 Backbone 进行预训练； - 利用 Heatmap 数据微调 Backbone 提取关键点特征； - 基于提取出的关键点应用 VQ-VAE 编码成离散 tokens 并完成下游分类任务训练。 下面是一个简单的 Python 实现片段展示如何加载并初始化 SimMIM backbone 和其他组件： ```python import torch from torchvision import models def load_simmim_backbone(pretrained=False, checkpoint_path=None): """Load a pre-trained SimMIM backbone.""" backbone = models.swin_t() # Example Swin Transformer architecture used in SimMIM. if pretrained and checkpoint_path is not None: state_dict = torch.load(checkpoint_path) backbone.load_state_dict(state_dict['model']) return backbone # Initialize the backbone with optional pre-training weights. simmim_backbone = load_simmim_backbone( pretrained=True, checkpoint_path="path/to/simmim_checkpoint.pth" ) print(simmim_backbone) ``` 此脚本仅展示了加载 SimMIM backbone 的基本逻辑；实际部署时需依据具体需求调整网络架构以及参数设置。 --- ####
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值