秋山丶雪绪的博客

2020 - CVPR -《Memory enhanced global-local aggregation for video object detection》视频目标检测方案详解

感觉只是对于 ILSVRC2015_VID 数据集中的视频有效。挑了几个视频看了下，基本有以下特点：视频长度短、场景或背景变化小、大多是针对一个或多个目标拍摄的视频且目标通常比较大。

视频理解实际是做视频动作分类，类似图像分类，输入为视频（图像序列），输出为类别。数据集类别数视频数平均时长链接UCF-101101133207.21sPaperDownloadHMDB-515168492~5sPaperDownloadSports-1M48711331585m36sPaperDownload40030624510sPaperDownloadSmth-Smth1742208474sPaperDownload。

TadTR 视频动作检测方法详解

从论文标题可以看出，AdaTAD 可以在 1B 参数且输入视频在 1000 帧的情况下实现端到端的训练，核心创新点是引入 Temporal-Informative Adapter (TIA) 模块来减少训练内存提高性能。本文先根据代码说明模型训练全过程，再根据论文部分内容说明训练策略和改进思路。