16、视频处理中的活动模式建模、异常事件检测与上下文信息应用

视频处理中的活动模式建模、异常事件检测与上下文信息应用

活动模式建模与异常事件检测

在视频分析中，单纯的逐像素分析难以捕捉像素间活动模式所产生的正常或异常行为。例如，像素A先于像素B出现活动爆发，意味着有车辆从左向右行驶。

基本概念与符号

• 设$I_{\vec{x},k}$为在大小为$W_0 × H_0$的二维网格上离散时间$k$采样的视频序列的亮度（或颜色），用$s$表示时间$t$时的像素位置$\vec{x}$。
• 通过简单背景减法估计运动标签$X_s$，$X_s \in {0, 1}$，分别表示“非活动”和“活动”状态。
• 以$s = (\vec{x},t)$为中心的运动标签序列$\vec{X} {\vec{x},t} = [X {\vec{x},t - \eta},…,X_{\vec{x},t + \eta}]$，是一维二进制序列。连续的“1”表示繁忙期，对应有物体经过；连续的“0”表示空闲期。
• 整个时空序列可在大小为$W_0 × H_0 × T_0$的三维网格$S$上定义，$s \in S$是时空空间中的点，$I_s$是相应的亮度（或颜色），$X_s$是相应的运动标签。
• 对于每个像素$\vec{x}$在时间$t$，考虑以$s = (\vec{x},t)$为中心的时空邻域$M_s$，它是一个大小为$W × H × T$（$W < W_0$，$H < H_0$，$T \ll T_0$）的三维网格。

当移动对象在时间$t$经过像素$\vec{x}$时，会在时空邻域$M_s$中留下时空痕迹。多个表现出规则行