计算机视觉-混合动态纹理模型(Mixtures of Dynamic Textures)

在计算机视觉领域，混合动态纹理模型(Mixtures of Dynamic Textures, MDT)常用于视频帧序列建模。比如对帧序列的分割，局部或全局的异常事件检测。下图能很好表明MDT的建模过程及其应用，该模型用于人群场景中局部异常的检测。首先，训练阶段：在一定的训练时间内且在每一个子区域中学习相应的MDT模型；其次，测试阶段：针对每一个子区域的MDT模型计算测试帧对应区域的负对数似然。整个过程类比于GMM模型用于视频建模，其中两者的区别在于GMM模型中的样本数据点为单帧中的local patch；而在MDT模型中的样本数据点多考虑了时间信息，即为spatio-temporal local patchs。而这层时间信息可以用马尔科夫链进行建模，下面我们先描述一下动态纹理模型(DT)，然后再讨论MDT。

1. 动态纹理模型(DT)

DT是一个典型的视频帧序列的生成模型。这个随机过程通过一系列隐变量和观测变量$\{\textbf{x},\textbf{y}\}$并结合线性动态系统(linear dynamical system, LDS)进行形式化：

$$\begin{cases} x_{t+1}=Ax_t+v_t \\ y_t=Cx_t+w_t \end{cases}$$
其中 $x_t \in R^n$为帧序列中时刻 $t$对应的隐变量，刻画视频序列随时间的演变； $y_t \in R^m$为对应的观测变量 (一般 $n \ll m$)，刻画视频帧；参数 $A\in R^{n\times n}$为状态转移矩阵，参数 $C\in R^{m\times m}$为发射矩阵；而 $v_t,w_t$为高斯白噪声，即 $v_t \sim N(0,Q),w_t \sim N(0,R)$，其中 $Q\in R^{n\times n},R\in R^{m\times m}$。扩展定义初始状态 $x_1$服从参数为 $\mu,S$的高斯分布。那么DT模型的参数为 $\Theta=\{A,Q,C,R,\mu,S\}$，概率图模型如下图(a)所示。模型中的隐变量 $y_t$为连续性变量，可理解为整个模型要学习的就是视频帧的上层语义信息(即纹理信息)。该模型与隐马尔科夫模型类似，区别仅在于隐状态变量的离散型或连续性。

很显然，初始状态分布，状态转移条件分布和观测条件分布如下
$$\begin{cases} p(x_1)=G(x_1,\mu,S) \\ p(x_t|x_{t-1})=G(x_t,Ax_{t-1},Q) \$$