2025_NIPS_Test-Time Distribution Normalization for Contrastively Learned Visual-language Models

一、文章主要内容总结

该研究聚焦视觉-语言对比学习模型（以CLIP为代表）在预训练目标与下游测试阶段的“适配失衡”问题，核心内容如下：

1. 问题识别：CLIP等模型基于InfoNCE损失训练，需同时利用正负样本优化表征空间，但下游测试时仅通过图像与文本表征的点积计算相似度，未利用测试分布信息，导致信息丢失和性能受限。
2. 核心方法：提出分布归一化（Distribution Normalization, DN），通过在计算点积前减去测试样本批次的图像/文本表征均值，近似InfoNCE损失中的负样本信息。该方法无需重训练、微调或标注数据，仅需少量无标签样本估计分布均值，实现简单且计算开销低。
3. 扩展变体：为提升鲁棒性，提出DN*变体，将DN的相似度输出与原始点积结果平均，缓解预训练与测试分布差异较大时的不稳定性。
4. 实验验证：在跨模态检索、零样本分类、图像描述评估三大下游任务中，基于CLIP、ALBEF、TCL等模型进行大量实验，验证DN/DN*的有效性：
   • 零样本场景下，DN平均提升Top-1召回率1.1%（跨模态检索）、Top-1准确率4.4%（零样本分类）；
   • 与测试时增强（TTA）等方法结合可进一步提升性能；
   • 仅需10-100个无标签样本即可稳定估计均值，极端情况下1个样本仍能带来小幅提升；
   • 对预训练模型和微调后模型均有效，且适用于不同规模的CLIP变体。
   </