weixin_43932267的博客

原创 多模态｜增强多模式学习：元学习跨模式知识提炼以处理缺失模式

缺少重要模态 / 元学习 / 知识蒸馏 / 自适应估计模态权重 /在多模态学习中，某些模态比其他模态更具影响力，它们的缺失可能会对分类/分割准确性产生显著影响。因此，一个重要的研究问题是，即使在输入数据中缺少重要的模态，训练好的多模态模型是否可能具有高准确性。本文提出了一种称为元学习跨模态知识蒸馏（MCKD）的新方法来解决这个研究问题。MCKD通过元学习过程自适应地估计每个模态的重要性权重。