图像与文本联合表征的突破性进展

图像与文本联合表征的优化方法

在计算机视觉与模式识别会议（CVPR 2022）上，某中心搜索团队发表的两篇论文聚焦于图像-文本特征对齐技术，即训练神经网络生成图像及其关联文本的联合表征。这类表征在基于文本的图像搜索和基于图像的文本检索等计算机视觉任务中具有重要价值。

传统方法局限

传统的联合图像-文本模型通常采用对比学习进行训练：模型接收成对的训练样本（一个正例和一个负例），学习在表征空间中拉近正例间距，同时推远正负例距离。但这种强对比学习可能导致学习特征退化。

表征码本方法

在《使用表征码本的多模态对齐》论文中，提出通过聚类表征在更高层次实现对齐。该方法将图像和文本视为同一实体的两种"视图"，使用聚类中心码本构建联合视觉-语言编码空间。每个中心锚定一组相关概念（无论是视觉还是文本表达）。

训练过程中通过聚类分配对比正负样本，同时优化聚类中心。采用师生蒸馏范式，用一个视图的输出指导另一个视图的学习。该方法在零样本跨模态检索任务上达到最新最优效果。

三重对比学习

《基于三重对比学习的视觉-语言预训练》提出同时利用跨模态和模内自监督的新方法。除了跨模态对齐（CMA），还引入模内对比目标：

• 最大化图像/文本局部区域与其全局摘要的平均互信息
• 首次在多模态表征学习中考虑局部结构信息

实验表明，该方法在图像-文本检索和视觉问答等下游任务中均达到最先进水平。

技术影响

这两种方法通过引入表征空间的结构化约束，显著提升了多模态表征学习的鲁棒性和泛化能力，为跨模态理解任务提供了新的技术路径。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码