开源项目推荐：HOTR - 基于Transformer的人类对象交互检测

开源项目推荐：HOTR - 基于Transformer的人类对象交互检测

hotr Official repository for HOTR: End-to-End Human-Object Interaction Detection with Transformers (CVPR'21, Oral Presentation) 项目地址: https://gitcode.com/gh_mirrors/ho/hotr

1. 项目基础介绍

HOTR（Human-Object Interaction Detection with Transformers）是一个基于深度学习的开源项目，旨在通过Transformer架构实现对图像中人类与对象交互的检测。该项目使用Python编程语言开发，依赖于PyTorch深度学习框架。

2. 核心功能

HOTR的核心功能是直接从图像中预测一组[人类-对象-交互]三元组。通过使用基于Transformer的编码器-解码器结构，该方法有效地利用了图像内在的语义关系，无需进行耗时的后处理，这是现有方法的主要瓶颈。HOTR的主要特点如下：

• 端到端的预测：直接预测图像中的交互三元组，无需额外步骤。
• 高效利用语义关系：通过Transformer架构，有效挖掘图像中的语义信息。
• 无需后处理：减少了传统方法中必需的时间-consuming后处理步骤。
• 高性能：在两个HOI（Human-Object Interaction）检测基准测试中取得了最先进的表现，推理时间小于1毫秒（在对象检测之后）。

3. 最近更新的功能

HOTR最近的更新包含以下功能：

• 性能提升：在V-COCO Scenario 1和HICO-DET Default(Full)数据集上，实现了性能提升，分别达到了58.9 mAP和23.76 mAP。
• 预训练权重：提供了预训练的权重文件，方便用户直接进行推理或微调。
• 改进的推理流程：优化了推理流程，使得用户可以更容易地使用预训练权重进行模型评估。

通过这些更新，HOTR进一步提高了其在人类对象交互检测领域的效率和准确性，为相关领域的研究和应用提供了强大的工具。

hotr Official repository for HOTR: End-to-End Human-Object Interaction Detection with Transformers (CVPR'21, Oral Presentation) 项目地址: https://gitcode.com/gh_mirrors/ho/hotr