weixin_40044549的博客

原创 ACL会议2024-MPLMM精读

这些提示可以生成缺失的模态特征，并促进模态内部和模态间信息的学习。广泛的实验和消融研究证明了的方法的有效性和鲁棒性，展示了其有效处理缺失模态的能力。首先，先将缺失的模态数据传入Missing Modality Generation Module中进行生成缺失模态，随后并加入生成提示符，即会在数据后面链接一个标识符。显然，Conv1D作为模态之间的转换器实在是有点简单，在处理原始模态的情况下肯定是会导致性能的下降；值得注意的是，这些转换器和综合生成器都由Conv 1D层和激活层组成，可谓是非常轻量级。