Data-Juicer v1.3.3发布：图像差分分析与ICML Spotlight荣誉

Data-Juicer v1.3.3发布：图像差分分析与ICML Spotlight荣誉

data-juicer A one-stop data processing system to make data higher-quality, juicier, and more digestible for LLMs! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷为大语言模型提供更高质量、更丰富、更易”消化“的数据！ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer

Data-Juicer是一个专注于数据清洗与预处理的强大工具包，旨在为机器学习任务提供高质量的数据准备解决方案。该项目通过丰富的操作符（OPs）和灵活的配置，帮助研究人员和工程师高效地处理各种类型的数据，特别适用于大规模数据集的处理场景。

核心更新亮点

最新发布的v1.3.3版本带来了两项重要进展：

1. 学术认可：Data-Juicer Sandbox研究论文被ICML 2025接收为Spotlight报告，这一荣誉仅授予所有提交论文中排名前2.6%的顶尖工作。这标志着该项目在数据清洗领域的创新性得到了国际顶级机器学习会议的认可。

2. 图像差分分析功能：新增了针对Img-Diff的操作符和配方，这一功能基于最新的图像差分研究，能够帮助用户更有效地分析和处理图像数据中的差异信息，为计算机视觉任务提供更强大的数据支持。

技术增强与优化

本次更新在功能性和易用性方面做出了多项改进：

• 模型支持扩展：现在两个基于大型语言模型的评分过滤器（llm_xxx_score_filter）已支持HuggingFace模型，为用户提供了更多选择。

• 部署便利性：考虑到部分地区访问容器镜像仓库可能受限，项目现在同步将Docker镜像上传至阿里云OSS，确保全球用户都能顺利获取。

• 测试效率提升：通过将独立测试和分布式测试分离，显著减少了重新运行失败测试用例所需的时间，提高了开发效率。

问题修复与文档改进

开发团队针对以下问题进行了修复和优化：

• 修复了unify_format中可能出现的配置缺失问题，增强了处理流程的稳定性。

• 对部分文档进行了清晰度提升和错误链接修正，使用户能够更顺畅地获取所需信息。

社区贡献

特别感谢社区成员@co63oc帮助修正了文档中的一些拼写错误，体现了开源社区协作的力量。

Data-Juicer持续致力于为机器学习数据预处理提供高效、可靠的解决方案，v1.3.3版本的发布进一步巩固了其在该领域的领先地位。无论是学术研究还是工业应用，Data-Juicer都能为数据科学家提供强有力的支持，帮助他们从原始数据中提取最大价值。

data-juicer A one-stop data processing system to make data higher-quality, juicier, and more digestible for LLMs! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷为大语言模型提供更高质量、更丰富、更易”消化“的数据！ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer