推荐开源项目：Conceptual 12M（CC12M）

推荐开源项目：Conceptual 12M（CC12M）

conceptual-12m Conceptual 12M is a dataset containing (image-URL, caption) pairs collected for vision-and-language pre-training. 项目地址: https://gitcode.com/gh_mirrors/co/conceptual-12m

项目介绍

Conceptual 12M（CC12M）是一个包含约1200万张图像-文本对的数据集，专门用于视觉与语言预训练。相较于广泛用于图像标注模型预训练和端到端训练的Conceptual Captions（CC3M）数据集，CC12M不仅在规模上更大，而且涵盖了更加多样化的视觉概念。更多详细信息请参考论文。

项目技术分析

CC12M数据集采用了简洁的.tsv格式，便于用户下载和使用。每行包含一个图像URL和对应的文本描述，格式如下：

[image_url_1]\t[caption_1]
[image_url_2]\t[caption_2]
[image_url_3]\t[caption_3]
…
[image_url_N]\t[caption_N]

此外，项目还提供了图像URL的哈希码文件，方便用户验证数据完整性。哈希码文件同样采用.tsv格式，包含SHA256和MD5两种哈希值：

[image_url_1]\t[SHA256_1]\t[MD5_1]
[image_url_2]\t[SHA256_2]\t[MD5_2]
[image_url_3]\t[SHA256_3]\t[MD5_3]
…
[image_url_N]\t[SHA256_N]\t[MD5_N]

项目及技术应用场景

CC12M数据集适用于多种视觉与语言任务，主要包括：

1. 图像标注：通过预训练模型，提升图像标注的准确性和多样性。
2. 视觉问答：利用丰富的图像-文本对，训练更强大的视觉问答系统。
3. 跨模态检索：支持图像到文本和文本到图像的双向检索任务。
4. 长尾视觉概念识别：特别适用于识别长尾视觉概念，提升模型的泛化能力。

项目特点

1. 大规模数据集：包含约1200万张图像-文本对，远超CC3M数据集。
2. 多样化视觉概念：覆盖了更广泛的视觉概念，适用于多种应用场景。
3. 易于使用：数据格式简洁，提供哈希码验证，方便用户快速上手。
4. 研究支持：项目团队积极回应用户反馈，提供详细的FAQ和联系方式。

使用与引用

如需使用CC12M数据集，请点击此处下载（2.5GB）。哈希码文件请点击此处下载（2.12GB）。

在研究中使用此数据集，请引用以下文献：

@inproceedings{changpinyo2021cc12m,
  title = {{Conceptual 12M}: Pushing Web-Scale Image-Text Pre-Training To Recognize Long-Tail Visual Concepts},
  author = {Changpinyo, Soravit and Sharma, Piyush and Ding, Nan and Soricut, Radu},
  booktitle = {CVPR},
  year = {2021},
}

联系我们

如有疑问，请在此仓库创建issue。反馈或问题报告，请发送邮件至conceptual-captions@google.com。

CC12M数据集无疑为视觉与语言领域的预训练研究提供了强大的支持，欢迎广大研究者和开发者积极使用和贡献！

conceptual-12m Conceptual 12M is a dataset containing (image-URL, caption) pairs collected for vision-and-language pre-training. 项目地址: https://gitcode.com/gh_mirrors/co/conceptual-12m