CogVLM视觉语言模型训练数据集解析：CogVLM-SFT-311K详解

CogVLM视觉语言模型训练数据集解析：CogVLM-SFT-311K详解

CogVLM a state-of-the-art-level open visual language model | 多模态预训练模型 项目地址: https://gitcode.com/gh_mirrors/co/CogVLM

数据集背景与重要性

CogVLM-SFT-311K是支撑CogVLM v1.0模型训练的核心对齐语料库，作为视觉-语言多模态模型训练的关键组成部分，该数据集的质量直接影响模型对图像内容的理解和语言生成能力。在视觉语言模型训练中，高质量的图像-文本配对数据对于模型学习视觉概念与语言表达之间的关联至关重要。

数据集构建过程

数据来源与筛选

1. 基础数据筛选：从开源视觉语言数据集中精选约3500个高质量样本（称为minigpt4-3500）
2. 数据扩展：将上述数据与LLaVA-Instruct-150K数据集进行整合
3. 双语处理：通过语言模型将英文数据翻译为中文版本
4. 质量优化：发现原始数据在细节描述部分存在显著噪声，对中文语料进行校正后重新翻译为英文

这一构建过程体现了数据质量控制的闭环流程：从初始筛选→扩展整合→双语转换→质量修正的完整链路。

数据集结构与内容

目录结构

数据集包含三个主要子集，组织方式如下：

.CogVLM-SFT-311K
├── 混合数据集(minigpt4-3500 + llava)
├── 多轮对话数据集
└── 单轮对话数据集

数据存储格式

每个子集采用统一的存储结构：

.数据集子集名称
├── images/        # 存放图像文件
│   └── 00000001.jpg
└── labels/        # 存放标注文件
    └── 00000001.json

数据规模统计

• 混合描述数据集：22,464张图像及对应描述
• 多轮对话数据集：56,673张图像及多轮对话
• 单轮对话数据集：76,634张图像及单轮对话

数据格式详解

图像描述格式

采用结构化JSON格式存储图像描述信息：

{
  "captions": [
    {
      "role": "caption",
      "content": "照片展示了一个海滩场景，一群人在海里冲浪..."
    }
  ]
}

对话交互格式

对于对话型数据，完整记录用户与助手的交互过程：

{
  "conversations": [
    {
      "role": "user",
      "content": "从图中可以推断出斑马的哪些行为和周围环境？"
    },
    {
      "role": "assistant",
      "content": "根据图像可以推断..."
    }
  ]
}

使用注意事项

许可限制

1. 由于非商业协议限制，该数据集不能用于任何商业版本的模型训练
2. 遵循Attribution-NonCommercial 4.0 International许可协议
3. 需同时遵守相关平台的服务条款

数据质量建议

使用该数据集时应当注意：

1. 原始数据经过人工校正，但仍建议进行二次质量检查
2. 双语数据可能存在翻译偏差，可根据实际需求进行优化
3. 对话数据中的长文本回答可能包含模型生成痕迹，需注意筛选

技术价值与应用

CogVLM-SFT-311K数据集具有以下技术特点：

1. 双语支持：同时包含中英文标注，适合训练跨语言视觉语言模型
2. 多类型标注：涵盖简单描述、单轮问答和多轮对话多种形式
3. 规模适中：31万+的总样本量平衡了训练效果与数据获取成本
4. 质量可控：经过噪声检测和人工校正环节

该数据集特别适合以下应用场景：

• 视觉语言模型的监督微调(SFT)
• 多模态对话系统开发
• 跨语言视觉理解研究
• 图像描述生成任务基准测试

总结

CogVLM-SFT-311K作为CogVLM模型训练的核心数据集，其精心设计的构建流程和丰富的数据类型为视觉语言模型的研究提供了重要基础资源。理解该数据集的结构特点和使用限制，将有助于研究人员更有效地开展相关领域的探索工作。

CogVLM a state-of-the-art-level open visual language model | 多模态预训练模型 项目地址: https://gitcode.com/gh_mirrors/co/CogVLM