2025_NIPS_Meta CLIP 2: A Worldwide Scaling Recipe

Meta CLIP 2 文章总结与核心内容翻译

一、主要内容总结

Meta CLIP 2 是首个基于全球网络规模图文对从零训练的 CLIP 模型，核心目标是解决现有 CLIP 变体依赖英文数据、难以规模化处理非英文数据的问题，同时突破“多语言诅咒”（multilingual curse）——即多语言模型的英文性能往往低于纯英文模型的瓶颈。

核心背景与挑战

1. 数据处理挑战：全球网络中50.9%的内容为非英文，但缺乏适用于大规模非英文数据的标准化筛选方法，现有多语言 CLIP 要么依赖机器翻译、要么使用私有数据集（如 mSigLIP 的 WebLI），通用性不足。
2. 性能权衡挑战：现有多语言模型存在“多语言诅咒”，例如 mSigLIP 的 ImageNet 准确率比纯英文的 SigLIP 低1.5%，而 SigLIP 2 为保证英文性能牺牲了多语言表现。

核心解决方案（Meta CLIP 2 方案）

1. 全球元数据构建：将英文元数据扩展至329种语言，基于维基百科和多语言 WordNet，覆盖多语言视觉概念。
2. 语言专属筛选算法：针对每种语言设计子串匹配和概念平衡机制，通过语言识别（LID）为不同语言设置专属阈值，保证长尾概念的均衡性。
3. 全球训练框架