34、通过解析短期行为序列识别长期行为

通过解析短期行为序列识别长期行为

在行为识别领域，准确识别短期行为和长期行为一直是研究的重点。本文将介绍一种通过施加行为结构来改善短期行为识别以及识别长期行为的方法。

1. 短期行为特征提取与分类

首先，我们需要对人员的轨迹进行建模。对于第 $i$ 条轨迹，可表示为 $X_i = {x_{i,t}, t \in T_i}$，其中 $T_i = {t_{i,1}, \ldots, t_{i,m}}$ 是轨迹 $X_i$ 在场景中出现的帧间隔的索引集。

在每个时间步 $t$，对于每对人员 $(i, j)$，我们计算以下特征向量：
$f_{(ij)t} = (s_{t,i}, s_{t,j}, a_{t,ij}, d_{t,ij}, d_{dif,ij}, s_{dif,ij})$
这里，$s_{t,i}$ 是人员 $i$ 在帧 $t - w$ 和 $t$ 之间所覆盖的距离，$a_{t,ij}$ 是人员之间的对齐度，$d_{t,ij}$ 是两人之间的距离，$d_{dif,ij}$ 是 $w$ 帧间隔的距离差，$s_{dif,ij}$ 是速度差。

我们将视频片段分割成大小为 $w_s$ 帧的窗口，并通过偏移量 $w_o$ 控制重叠。对于每个窗口 $k$，我们得到一组特征向量：
$F_{(ij)k} = {f_{(ij)t}, t \in T_k}$
其中 $T_k = {\tau_{k,a}, \ldots, \tau_{k,b}}$ 包含属于第 $k$ 个窗口的帧的索引。

为了计算测试窗口在给定动作 $action_p \in A$ 下的概率 $P(F_{test}|action_p)$，我们为训练集中的每个特征向