6、结合领域知识与深度学习改进人类活动识别模型

结合领域知识与深度学习改进人类活动识别模型

1. 引言

物联网应用中数据来源的不断增加，为监测现象带来了丰富多样的视角。以可穿戴传感器持续监测人类活动的应用为例，大量数据在模态和空间视角上的丰富性，本可带来如提高信噪比、减少模糊性和不确定性、增强鲁棒性和可靠性等诸多优势。然而，当前机器学习处理多源信息的方式效率低下，因为数据在处理过程中被扁平化，丢失了与传感器部署和监测现象结构相关的有价值线索。即便像深度学习这样理论上能跨模态学习并利用这些结构的方法，在实际应用中也会遇到问题，需要更多指导才能正常工作。

在可穿戴技术领域，以Sussex - Huawei locomotion - transportation（SHL）数据集为例，我们的工作重点是从按预定义拓扑结构放置在身体不同位置的传感器数据源中识别与移动性相关的人类活动。为了引导这类模型，我们可以明确提供额外的领域知识，如传感器部署结构、人类活动动态、身体运动物理模型等。这些额外知识能让学习模型专注于某些数据源子集，这些子集可能对特定人类活动更具信息价值，或者在空间布局上能可靠地区分人类活动。

这项工作的主要贡献是通过结合领域知识来改进基于深度学习的人类活动识别（HAR）模型，以指导在传感器丰富环境中的人类活动学习。第一步是推导一个能捕捉每种人类活动身体运动动态的数据生成模型。由于身体运动动态通常由涉及多个身体部位的复杂低级交互驱动，数据生成模型的推导被构建为对神经网络架构空间的探索。这些架构由传感器融合和特征提取组件组成，由一组超参数控制。我们使用神经架构搜索（NAS）技术来实现这一构想，具体包括用于传感器融合和特征提取的卷积构建块、用于表面响应重建的贝叶斯优化（BO），以及用于诊断高维因变量函数的高效功能方差分析（fANO