qq_55953518的博客

4.融合特征：多张特征输入输出一个融合特征，用attention，若是有顺序，加上position embedding。使用CLIP（ViT-B/16）图像编码器提取多模态图像的语义特征，并通过模态特定适配器增强模态感知能力。C：无监督一致性损失：移除后，模型性能显著下降，表明其对模态一致性的增强效果。kappa (κ)：模型生成的分类图与地面真相之间的一致性的统计度量。结合CLIP的语义提取和Mamba的高效建模，提出一种。2.RSMamba:都是分类，单模态和多模态的区别。