2025_NIPS_Multimodal C4: An Open, Billion-scale Corpus of Images Interleaved with Text

文章主要内容和创新点总结

主要内容

本文介绍了Multimodal C4（mmc4），这是一个基于现有纯文本语料库c4扩展的大规模多模态语料库，旨在填补当前公开可用的图像-文本交错式预训练数据的空白。该语料库通过线性分配算法，利用CLIP ViT-L/14特征将图像与文本句子进行对齐，构建了包含1.012亿篇文档、5.71亿张图像和430亿个英文词元的大规模数据集。

数据构建过程包含多个关键步骤：从c4-en语料库对应的原始网页中提取图像URL并下载有效图像；通过去重、筛选低分辨率/异常宽高比图像、移除NSFW（不适合工作场景）内容等方式净化数据；采用二分图线性分配算法实现图像与句子的精准对齐。此外，还发布了两个子集——mmc4-ff（移除含有人脸的图像，保护隐私）和mmc4-core（经过更严格筛选的精简版本，便于开发者快速使用）。

文章通过多项评估验证了语料库的质量：87.7%的图像与文档主题相关，80.4%的图像与分配的句子高度对齐；在图像-文本对齐基准测试中，所采用的零样本CLIP对齐方法优于以往微调方法。同时，以OpenFlamingo模型为例进行应用验证，表明在mmc4上训练的模型在少样本图像描述生成任务中，相比基于单一图像-标题对训练的模型性能提升显著（4/8-shot场景下CIDEr指标提升20-30点）。

创新点

1. 填补数据空白：首次公开了大规模、高质量的图像-文本交错式语料库，解决了此前该类数据仅存在于私有数据集（如Flamingo的M3W）的问题，为多模态上下文学习研究提供了公开可用的基础资源。