Stetman读论文小记：Decoupled Multimodal Distilling for Emotion Recognition

参与实验室相关课题精读的一篇论文。

        文中，作者认为，原有多模态互补的情感识别方法实现了编码集成不同模态以实现模态互补，但不同模态间的异质性导致学习难度大的问题仍然存在。为此，作者提出了一种解耦的多模态蒸馏（DMD）方法来跨模态学习，如图所示：

 

   作者总结文章贡献为：

1.提出了一种解耦的多峰蒸馏框架-解耦多模式蒸馏（DMD），以为稳定MER实现跨模态学习蒸馏。在DMD中，作者明确地将多模式表示解耦为模态无关/排他性空间，以促进两个解耦的空间知识蒸馏。DMD提供了一种灵活的、知识转移方式中的蒸馏,可以自动学习方向和权重,从而实现灵活的知识转移模式。

2.DMD方法在每个模态空间中都部署了图蒸馏单元（GD），使得跨模态知识提取可以,以更加专业和有效的方式进行。为了简化整个学习过程，模型分别设置齐次图蒸馏单元HomoGD与异构图图蒸馏单元HeteroGD，同时通过它们使我们能够明确地探索每个解耦空间中不同模态之间的相互作用。

背景知识 

在阅读这篇文章的时候，特意补了一下背景知识，下面放一下之前学习看的比较nice的帖子。

1.MER，这里有一篇讲21年多模态情感识别的综述的博客多模态情感识别数据集和模型(下载地址+最新综述2021.8)_鬼扯子的博客-优快云博客

2.知识蒸馏，个人觉得这两个博客写的特别好：

知识蒸馏（Knowledge Distillation）_琉璃幻的博客-优快云博客