63、语义一致的人体运动分割

语义一致的人体运动分割

1. 运动分割概述

运动分割的目标是识别一组关键姿势，将运动划分为一系列连续的片段（子运动）。关键姿势的识别主要取决于目标应用的目的，这里重点关注基于片段索引的运动检索应用。该问题需要找到一种分割方法，在手势层面（如“抬起右腿”）对运动进行分割，同时在语义等效的运动阶段识别关键姿势。

2. 运动数据表示

• 人体运动建模 ：人体运动使用简化的骨架图建模，由关节连接的骨骼表示，如左右手、膝盖或脚。每个视频帧的关节位置以 3D 坐标形式估计，即单个帧是 $R^{3×|joints|}$ 的一个元素。
• 特征提取 ：从 3D 关节坐标中可以提取各种运动特征，如相对关节距离、骨骼角度、关节速度和加速度等。用集合 $F = {F_1, …, F_m}$ 表示特征函数，$F_i$ 处理第 $j$ 帧的 3D 关节坐标并提取特定特征值 $f_i^j$。第 $j$ 帧提取的单个特征值 $f_1^j, …, f_m^j$ 形成一个 $m$ 维向量 $P_j = (f_1^j, …, f_m^j)$，称为姿势特征向量，简称姿势。一个包含 $n$ 帧的运动 $M$ 表示为姿势序列 $M = (P_1, …, P_n)$，子运动 $M_{i,j} = (P_i, P_{i+1}, …, P_j)$ 是运动 $M$ 从第 $i$ 帧开始到第 $j$ 帧结束的部分。

3. 语义一致的运动分割

• 关键姿势检测器定义 ：定义关键姿势检测器 $KPD(M)$ 为分割运动 $