16、视频处理中的活动模式建模与异常事件检测及上下文信息应用

视频处理中的活动模式建模与异常事件检测及上下文信息应用

活动模式建模与异常事件检测

在视频分析里，单纯逐像素分析难以捕捉像素间活动模式所产生的正常或异常行为。例如，像素A先于像素B出现活动爆发，意味着有车辆从左向右行驶。

1. 概述与符号表示

   • 设 $I_{\vec{x},k}$ 为在大小为 $W_0 × H_0$ 的二维网格上离散时间 $k$ 采样的视频序列的亮度（或颜色），用 $s$ 表示时间 $t$ 时的像素位置 $\vec{x}$。
   • 通过简单背景减法估计运动标签 $X_s$，$X_s \in {0, 1}$，分别代表“非活动”和“活动”状态。
   • 以 $s = (\vec{x},t)$ 为中心的运动标签序列 $\vec{X} {\vec{x},t} = [X {\vec{x},t - \eta},…,X_{\vec{x},t + \eta}]$，是一维二进制序列。连续的“1”表示繁忙期，对应经过的物体；连续的“0”表示空闲期。
   • 整个时空序列可在大小为 $W_0 × H_0 × T_0$ 的三维网格 $S$ 上定义，$s \in S$ 是时空空间中的点，$I_s$ 是相应亮度，$X_s$ 是相应运动标签。
   • 对于每个像素 $\vec{x}$ 在时间 $t$，考虑以 $s = (\vec{x},t)$ 为中心的时空邻域 $M_s$，它是大小为 $W × H × T$（$W < W_0$，$H < H_0$，$T \ll T_0$）的三维网格。