12、视频监控中的事件与活动识别：从传统方法到深度学习

视频监控中的事件与活动识别：从传统方法到深度学习

1 视频事件与活动识别的传统方法

在视频监控领域，事件与活动识别是一项重要的任务。早期的研究通过扩展哈里斯角点检测器，来标记视频中的动作点和建模活动。以板球击球为例，扩展的哈里斯角点检测器能识别出那些运动显著、能体现动作类特征的点，即使最初图像中包含球的部分未被标记为“兴趣点”，但当球被击球手击中时，该部分也会被纳入，明确显示出板球击球动作的运动。

基于此扩展，Blank等人在2005年设计了一种新策略，不仅能标记动作点，还能对活动进行建模。他们试图发现何种时空体积能暗示特定的动作类。这与Polana和Nelson在1994年的工作有相似之处，不过新方法通过数学方式表述动作随时间的演变，消除了对周期性的过度依赖，能即时识别特定活动类的特征。

从几何角度看，这种情况可转化为时空长方体的概念。通过在空间、时间和体积尺度等参数上采样代表性块，该长方体可映射视频中的运动程度。Wang等人在2009年的工作中，尝试将Hessian检测器扩展到三维策略，提升了这些重要兴趣点的有效性。这些作为局部描述符的长方体可用于映射一些运动轨迹，从而揭示对分类或场景理解有主导作用的运动。

然而，对于非专业拍摄的无约束视频，可能存在抖动内容，局部描述符方法的灵活性存在争议。视频中可能存在动作的相对运动和相机运动，这涉及到运动深度的考虑。这也为无约束视频数据中事件识别的最新方法讨论奠定了基础，其中许多方法采用了各种形式的深度神经网络架构。

2 深度学习架构在视频识别中的应用

在过去十多年里，研究人员采用了基于映射模板、手工特征和局部描述符等多种策略，但为了更好地理解无约束视频场景，他们开始尝试使用