【阅读文献笔记】Cmf-transformer: cross-modal fusion transformer for human actionrecognition

主要工作

提出了一种新的用于人体动作识别的跨模态Transformer---CMF-Transformer，有效地融合了时空视频和骨架特征两种模态。在时空模态中，视频帧被用作输入，并且在Transformer中使用方向性注意来获得不同时空块之间的识别顺序。在骨架关节模态中，骨架关节被用作输入，通过Transformer中的时空交叉注意来探索不同骨架关节之间更完整的相关性。然后，采用多模态协同识别策略，分别识别两种模态下的特征和连通性特征，并对识别结果分别加权，融合两种模态下的特征，协同识别目标动作。

CMF-Transformer

由Transformer输出的用于两种模态的类别标记经历后续的共融合策略以获得最终的识别结果