23、人体动作识别、评估与持续学习

人体动作识别、评估与持续学习

1. 人体动作识别

在人体动作识别方面，我们使用了特定的数据集进行研究。该数据集的范围在1.2到3.5米，深度分辨率为640×480，帧率为15fps，提供原始深度图、RGB图像和骨骼数据。我们选取了不包含脚部的3D位置集合，得到13个关节（即39个输入维度）。为了实现平移不变性，我们以髋部中心为参考系对关节位置进行编码，并通过计算每个姿势转换中连续两帧的差异来得到关节运动。

在CAD - 60数据集上的评估中，我们采用了与某方案相同的策略，使用所有12种活动加上一个随机动作，采用新人员策略，即前3个受试者用于训练，其余用于测试。我们获得了91.9%的精度、90.2%的召回率和91%的F - 分数。目前报道的最佳结果精度为93.8%、召回率为94.5%、F - 分数为94.1% ，该方法在学习前估计一些关键姿势以计算时空动作模板；第二好的方法精度为93.2%、召回率为91.9%、F - 分数为91.5% ，使用动态贝叶斯混合模型对身体姿势之间的运动关系进行分类，但该方法作者自行从原始深度图像估计骨骼模型，与我们使用的CAD - 60基准数据集提供的骨骼模型存在差异，阻碍了直接定量比较。

2. 基于身体表情的情绪识别

情绪识别在日常生活、社交沟通以及人机交互（HRI）场景中都非常重要。例如，社交辅助机器人若能理解用户的情绪，如无聊、愤怒或沮丧，就能加强与用户的关系。身体表情能传达额外的社交线索，强化或补充面部表情，尤其在用户未面对传感器或距离过远无法计算面部特征时，可作为面部表情识别的补充。然而，与面部表情和语音分析相比，基于身体运动模式的情绪识别受到的关注较少。

运动运动学特征（如速度和加速度）以及身体运动