2、多模态人体活动识别的研究与实践

多模态人体活动识别的研究与实践

1. 引言

近年来，无处不在的传感技术愈发流行，它通过在建筑物中合理布置传感器来收集数据。可穿戴传感器在人体活动识别（HAR）领域的研究也呈爆发式增长，因其在体育、互动游戏、医疗保健等众多领域具有广泛的潜在应用。

多模态HAR可看作是经典序列分类问题的一种变体，通过滑动时间窗口将传入的传感器数据划分为离散的时间间隔，从而提取有区分性的特征。然而，浅层学习难以捕捉复杂动作的关键要素，特征选择过程也往往十分繁琐。因此，自动特征提取的研究变得至关重要，目前多模态HAR领域正从浅层学习转向深度学习。

为提升系统性能并摆脱对手工特征的依赖，基于传感器的HAR研究大量聚焦于深度学习，通过堆叠多层构建深度神经网络（DNNs）。特别是卷积神经网络（CNNs）强大的表征能力，显著提升了HAR的性能。但DNNs对丰富表征能力的追求会增加对大量标注数据的需求，而标注训练数据是一项耗时且昂贵的工作。与其他传感器模态（如相机）采集的数据相比，加速度计和陀螺仪等多模态嵌入式传感器记录的时间序列数据更难理解，要有效分割和分类特定活动需要大量人力。

现有多模态HAR研究主要集中在决策级融合，它不受不同特征的类型、距离和算术尺度的影响，且融合后的分类结果维度更低，无需对提取的特征进行后处理。但决策级融合的主要缺点是对每个感官模态进行独立分类，然后通过软规则融合得出最终结论。而特征级融合则有助于同时从多个传感器收集特征并整合，为做出合理判断提供足够信息。

2. 相关工作

• Pradhan和Srivastava ：使用机器学习和深度学习（DL）模型对多模态生理输入进行分类。