11、视频监控中的事件与活动识别

视频监控中的事件与活动识别

1. 视频信息通道

视频包含多种信息通道，这些通道在事件和活动识别中发挥着重要作用：
- 视觉 ：传统方法不太适合计算帧对之间的相关性，而光流这一特殊的视频处理概念可用于捕捉帧序列中的信息，有助于随时间跟踪属于同一对象的等强度像素。
- 声学 ：指视频播放时的听觉信号，包括背景音乐、实体或群体间的交流等。自动语音识别在场景理解中往往非常有用。
- 文本 ：当声学对话难以识别时，可通过经典的图像处理和分类技术提取和识别视频帧上的文本和字幕。社交媒体下载的视频中字幕很常见，在事件识别中起着关键作用，在线视频旁边的非结构化描述也有助于视频分类。

2. 多年来的进展

多年来，研究人员采用了各种策略和分类网络来预测视频数据中的活动：
- 早期进展 ：最初仅在视觉或听觉通道中处理模式，利用帧中的空间信息进行决策，也采用了基于图像处理的方法，如尺度不变特征变换（SIFT）和方向梯度直方图（HOG）来定位特征。
- 后续发展 ：后来意识到需要考虑视频帧中的长期运动模式等时间特征，以更好地表征视频的语义方面。使用了各种卷积神经网络的分类框架，不同架构和精度各异。当网络获得正在进行的动作的精确时空位置信息时，表现更好。通过融合空间、时间（有时还有听觉）流，使分类更稳健，主要采用早期融合、晚期融合、博尔达计数等方法。

3. 动机与贡献

• 时间通道的潜力