11、视频流单运行动作检测器：S - RAD的创新与实践

视频流单运行动作检测器：S - RAD的创新与实践

1. 相关工作

在动作识别和检测领域，过往的研究主要集中在以下几个方面：
- 可穿戴传感器的活动识别 ：多数先前研究聚焦于利用可穿戴和移动设备（如智能手机、智能手表）进行活动识别。研究人员围绕可穿戴传感器的最佳放置位置、自动检测传感器在身体上的位置、最小化传感能耗以及优化功耗等问题展开了广泛研究。然而，这类技术依赖电池供电，需要定期充电，若电池未及时充电，会导致活动识别中断，可能使重要行为事件未被检测到。
- 视频数据中的动作识别 ：动作识别是一个长期的研究问题，已有数十年的研究历史。现有先进方法大多专注于建模连续视频帧中的时间依赖关系。例如，有的方法直接对不同时间片段中的运动线索进行平均，以捕捉时间信息的不规则性；还有的提出双流网络，分别以RGB帧和光流作为输入，并将两个流的检测结果融合作为最终输出。此外，一些方法探索了在视频流上使用3D卷积网络进行时空特征联合学习，避免了显式计算光流、关键点或显著图。但这些方法规模过大，无法在实时边缘设备上运行。另外，部分方法仅专注于场景级别的单人动作分类，在图像中存在多个人时表现不佳，而这对于医疗保健和其他公共场所监控系统至关重要。
- 时空人体动作检测 ：这是一个具有挑战性的计算机视觉问题，涉及在视频中检测人体动作，并在空间和时间上对这些动作进行定位。一些论文使用目标检测器生成时空管，通过在帧级检测上部署高级链接算法实现；还有的受RCNN方法启发，使用Faster - RCNN结合光流捕捉动作运动线索来检测人体并分类动作。然而，这些方法由于双流网络中的光流生成、3D卷积网络中的3D内核以及基于