Data-Juicer项目快速入门指南：从数据处理到分析全流程

Data-Juicer项目快速入门指南：从数据处理到分析全流程

data-juicer A one-stop data processing system to make data higher-quality, juicier, and more digestible for LLMs! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷为大语言模型提供更高质量、更丰富、更易”消化“的数据！ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer

项目概述

Data-Juicer是一款功能强大的数据处理工具，专注于为大规模语言模型提供高质量的训练数据准备。它集成了数据清洗、转换、分析和可视化等全流程功能，支持从本地文件到远程数据集等多种数据源，并提供了灵活的操作接口和分布式处理能力。

数据集配置

基础配置方式

对于简单场景，可以直接指定数据集路径：

dataset_path: '/path/to/your/dataset'

高级配置方式

对于需要更复杂配置的场景，可以使用以下格式：

dataset:
  configs:
    - type: 'local'
      path: 'path/to/your/dataset'

这种配置方式支持多种特性，包括数据验证和混合不同类型的数据集。

数据处理流程

基本处理命令

Data-Juicer提供了两种处理数据的方式：

1. 使用Python脚本处理：

python tools/process_data.py --config configs/demo/process.yaml

2. 使用命令行工具：

dj-process --config configs/demo/process.yaml

缓存管理

首次运行涉及第三方模型的操作时，会自动下载相关资源到缓存目录。默认缓存位置为~/.cache/data_juicer，可以通过环境变量修改：

export DATA_JUICER_CACHE_HOME="/path/to/another/directory"
export DATA_JUICER_MODELS_CACHE="/path/to/another/directory/models"
export DATA_JUICER_ASSETS_CACHE="/path/to/another/directory/assets"

内存管理提示

使用第三方模型的操作时，必须在配置文件中正确声明mem_required参数，以避免CUDA内存不足的问题。

编程接口

Data-Juicer提供了多种灵活的编程接口：

# 链式调用风格
dataset = dataset.process(op)
dataset = dataset.process([op1, op2])

# 函数式编程风格
dataset = op(dataset)
dataset = op.run(dataset)

分布式数据处理

Data-Juicer基于RAY框架实现了多机分布式数据处理能力：

# 处理文本数据
python tools/process_data.py --config ./demos/process_on_ray/configs/demo.yaml

# 处理视频数据
python tools/process_data.py --config ./demos/process_video_on_ray/configs/demo.yaml

分布式处理注意事项：

1. 确保所有节点都能访问相同的数据路径
2. RAY模式下的去重操作符前缀为ray_，如ray_video_deduplicator

数据分析功能

Data-Juicer提供了强大的数据分析工具：

# 使用Python脚本分析
python tools/analyze_data.py --config configs/demo/analyzer.yaml

# 使用命令行工具分析
dj-analyze --config configs/demo/analyzer.yaml

# 自动分析模式
dj-analyze --auto --dataset_path xx.jsonl [--auto_num 1000]

分析器只会计算产生统计信息的过滤器或产生标签/类别的操作符。

数据可视化

Data-Juicer内置了数据可视化工具：

streamlit run app.py

配置文件构建

构建配置文件时需要考虑：

1. 全局参数：输入/输出路径、工作线程数等
2. 操作符列表：处理数据集所需的所有操作符及其参数

构建方式：

• 修改示例配置文件config_all.yaml
• 从零开始构建自己的配置文件

可以通过命令行覆盖配置文件中的参数：

python xxx.py --config configs/demo/process.yaml --language_id_score_filter.lang=en

沙盒环境

Data-Juicer沙盒实验室(DJ-Sandbox)提供了一套完整的数据处理实践环境：

python tools/sandbox_starter.py --config configs/demo/sandbox/sandbox.yaml

沙盒特点：

• 低开销、可移植、有指导性
• 支持小规模数据集快速实验和迭代
• 集成数据探测、分析、模型训练评估等组件

数据预处理

虽然Data-Juicer支持多种输入格式，但对于复杂原始数据，建议先进行预处理：

• 将arXiv等复杂数据转换为jsonl或parquet格式
• 使用提供的预处理工具处理PDF、HTML等特殊格式

Docker使用指南

使用Docker镜像运行Data-Juicer：

1. 直接运行：

docker run --rm \
  --privileged \
  --shm-size 256g \
  --network host \
  --gpus all \
  --name dj \
  -v <host_data_path>:<image_data_path> \
  -v ~/.cache/:/root/.cache/ \
  datajuicer/data-juicer:<version_tag> \
  dj-process --config /path/to/config.yaml

2. 进入容器交互模式：

docker run -dit \
  --privileged \
  --shm-size 256g \
  --network host \
  --gpus all \
  --rm \
  --name dj \
  -v <host_data_path>:<image_data_path> \
  -v ~/.cache/:/root/.cache/ \
  datajuicer/data-juicer:latest /bin/bash

通过本指南，您可以快速掌握Data-Juicer的核心功能和使用方法，为大规模语言模型训练准备高质量数据。

data-juicer A one-stop data processing system to make data higher-quality, juicier, and more digestible for LLMs! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷为大语言模型提供更高质量、更丰富、更易”消化“的数据！ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer