2025_NIPS_Unlabeled Data Improves Fine-Grained Image Zero-shot Classification with Multimodal LLMs

文章核心总结与翻译

一、主要内容

该研究针对多模态大型语言模型（MLLMs）在细粒度图像零样本分类任务中表现不佳的问题（因难以捕捉区分相似子类的细微视觉特征），提出了一种名为AutoSEP的无监督提示学习框架。其核心思路是利用无标签数据迭代优化图像描述提示词，引导MLLMs生成能突出判别性特征的文本描述，再结合原始图像进行分类，全程仅需MLLMs的黑盒访问权限，无需任何训练或微调。

研究在8个细粒度分类任务（涵盖鸟类、蝴蝶、犬类、蔬菜等数据集子集）上验证了方法有效性，使用Gemini 1.5 Flash、GPT-4o、Qwen2-VL-72B-Instruct等模型进行实验，结果显示AutoSEP相比标准零样本分类平均提升13%准确率，相比最优基线方法平均提升3%，且在不同模型和任务中均表现稳定。

二、创新点

1. 提出AutoSEP框架：首个在黑盒设置下利用无标签数据提升MLLMs细粒度图像零样本分类性能的自监督提示学习方法，无需标注数据和模型白盒访问权限。
2. 实例级分类评分机制：设计基于实例级描述匹配的评分函数，通过让MLLM区分图像与其自身/其他图像的描述，量化提示词质量，避免依赖标签信息。
3. 迭代式提示优化流程：通过"错误收集-反思-修改"的迭代机制，利用MLLM自身反馈不断优化描述生成提示词，引导模型关注细粒度判别特征，提升描述的准确性和独特性。
4. 跨模型与任务的通用性：在多种主流MLLMs和不同类型细粒度数据集上均验证了有效性，证明框架的鲁棒性和泛化能力。