MHARFedLLM: Multimodal Human Activity Recognition Using Federated Large Language Model

文章主要内容总结

本文提出了一种名为FedTime-MAGNET的新型多模态联邦学习框架，用于人体活动识别（HAR）。该框架整合了深度相机、压力垫和加速度计等多源异构数据，通过多模态融合、时间序列大语言模型（LLM）和联邦学习技术，提升HAR系统的准确性和鲁棒性。

核心组件包括：

• 基于LoRA优化的定制化T5编码器，用于处理时序传感器数据；
• 双注意力残差时序卷积神经网络（DART-CNN），用于提取图像模态的时空嵌入；
• 多模态自适应图神经专家Transformer（MAGNET），结合图注意力网络（GAT）和混合专家模型（MoE）实现跨模态融合；
• 联邦学习架构，在保护数据隐私的同时实现分布式模型训练。

实验基于MEx多模态数据集，结果显示该框架在集中式设置下F1分数达0.934，联邦式设置下F1分数达0.881，显著优于现有基线模型。

创新点

1. 设计并训练了基于LoRA的定制化仅编码器T5架构，用于时序数据嵌入，实现参数高效学习；
2. 提出基于时间步和通道的补丁策略，将多变量时序数据转换为适配LLM的输入 token；
3. 开发了DART-CNN编码器，用于从图像模态中提取高判别性的时空嵌入；
4. 提出MAGNET融合策略，结合GAT和MoE捕获复杂的跨模态依赖关系；
5. 构建了首个结合定制化T5（时序模态）和DART-CNN（图像模态）的联邦学习框架，在保护隐私的同时缓解数据稀缺问题。