SJTU-LuHe/TransVOD：基于时空变换器的端到端视频目标检测

SJTU-LuHe/TransVOD：基于时空变换器的端到端视频目标检测

TransVOD The repository is the code for the paper "End-to-End Video Object Detection with Spatial-TemporalTransformers" 项目地址: https://gitcode.com/gh_mirrors/tr/TransVOD

1. 项目基础介绍及主要编程语言

该项目是上海交通大学（SJTU）卢和教授团队的一个开源项目，项目名为TransVOD，全称为“End-to-End Video Object Detection with Spatial-Temporal Transformers”。该项目致力于视频目标检测领域的研究，提出了一种基于时空变换器的端到端视频目标检测框架。主要编程语言为Python，同时使用了一些Cuda和C++代码以优化性能。

2. 项目的核心功能

TransVOD的核心功能是视频目标检测，它基于Transformer架构，能够直接输出检测结果而无需复杂的后处理方法。以下是项目的几个核心特点：

• 端到端检测框架：TransVOD设计了一种端到端的检测框架，有效移除了许多手工艺品组件的需求，如光流、循环神经网络、关系网络等。
• 时空变换器：项目提出了一种时空变换器，用于聚集空间目标查询和每帧的特征记忆，包括时空可变形变换器编码器（TDTE）、时空查询编码器（TQE）和时空可变形变换器解码器（TDTD）。
• 简化流程：受益于DETR中的对象查询设计，TransVOD无需复杂的后处理方法，如Seq-NMS或Tubelet重评分，保持了流程的简洁性。

3. 项目最近更新的功能

根据项目更新日志，最近更新的功能包括：

• 代码和预训练权重发布：于2022年4月3日，项目团队发布了TransVOD的代码和预训练权重。
• 性能提升：在ImageNet VID数据集上，TransVOD相比Deformable DETR基线模型性能有显著提升（3%-4% mAP）。

这些更新进一步提升了TransVOD的性能和可用性，使其成为视频目标检测领域的一个有力工具。

TransVOD The repository is the code for the paper "End-to-End Video Object Detection with Spatial-TemporalTransformers" 项目地址: https://gitcode.com/gh_mirrors/tr/TransVOD