高分发论文干货：多模态数据融合今年最火的5个发文方向，速通CVPR

内容源自图灵学术AI科研

多模态融合，AI领域的“当红炸子鸡，前景可以用 “星辰大海” 来形容。这领域好发论文，但想发顶会顶刊，就得学会避坑，暴力融合不可取！

多模态小样本学习

还没完全卷起来，创新空间较大。当只有少量标注图像时，跨模态生成 + 知识蒸馏是破局关键。比如，用 DALL-E 3 根据文本描述生成大量伪图像，再用这些图像训练视觉模型。

参考论文：

Distilling Prompts at Test-Time for Multimodal Few-Shot Learning

方法：论文提出了一种多模态小样本学习方法，通过将图像特征蒸馏到软提示中，并在测试时用少量样本微调，让模型快速适应新任务，显著提升了小样本条件下的视觉问答性能。

创新点：

• 提出元学习策略，将图像特征蒸馏到可微调的软提示中，实现快速适应新任务。

• 引入注意力映射器模块，结合强大语言模型，提升提示质量。

• 在VL-ICL基准测试中，显著提升小样本视觉问答性能，优于传统方法。

医学多模态

目前比较热门的方向，算是 “论文制造机”，尤其是CT + 电子病历 + 检查指标的组合。比如，用 CT 影像判断肺癌分期，同时结合患者的吸烟史、血液肿瘤标志物数据来