Fastdup：高效管理、清理和策划视觉数据的开源工具

最新推荐文章于 2025-01-27 09:17:00 发布

宫榕鹃Tobias

最新推荐文章于 2025-01-27 09:17:00 发布

阅读量629

点赞数 20

本文链接：https://blog.youkuaiyun.com/gitblog_00932/article/details/142804413

版权

Fastdup：高效管理、清理和策划视觉数据的开源工具

fastdup fastdup is a powerful free tool designed to rapidly extract valuable insights from your image & video datasets. Assisting you to increase your dataset images & labels quality and reduce your data operations costs at an unparalleled scale. 项目地址: https://gitcode.com/gh_mirrors/fa/fastdup

项目介绍

Fastdup 是一款由 XGBoost、Apache TVM 和 Turi Create 的作者们共同开发的无监督开源工具，专门用于图像和视频数据集的分析。Fastdup 旨在帮助用户快速、大规模地管理和清理视觉数据，无论是标记还是未标记的数据集，都能轻松应对。

项目技术分析

Fastdup 的核心技术基于优化的 C++ 引擎，能够在低资源 CPU 机器上实现高性能处理。它支持多种操作系统，包括 macOS、Linux 和 Windows，并且兼容 Python 3.8 及以上版本。Fastdup 通过高效的算法，能够在单个 CPU 机器上处理多达 4 亿张图像，甚至扩展到数十亿张图像。

项目及技术应用场景

Fastdup 适用于各种视觉数据的管理和清理任务，包括但不限于：

数据集清理：识别和移除重复、近似重复、损坏、低质量的图像。
数据集优化：通过分析图像的亮度、模糊度等统计信息，优化数据集的质量。
数据集分析：发现数据集中的异常值和相似图像集群，帮助用户更好地理解数据集的分布。

项目特点

Fastdup 具有以下显著特点：

高质量分析：能够识别重复、近似重复、异常值、错误标签和低质量图像。
高可扩展性：支持处理从百万到数十亿级别的图像数据。
高性能：优化的 C++ 引擎确保即使在低资源机器上也能快速处理数据。
数据隐私保护：所有处理都在本地或用户指定的云基础设施上进行，确保数据隐私。
易用性：支持标记和未标记的图像和视频数据集，操作简单，适合各种用户。

快速开始

通过以下步骤，您可以快速上手 Fastdup：

安装 Fastdup：
```
pip install fastdup
```

初始化和运行 Fastdup：

import fastdup

fd = fastdup.create(input_dir="IMAGE_FOLDER/")
fd.run()

探索结果：使用交互式 Web UI 查看分析结果：

fd.explore()

或者生成静态画廊：

fd.vis.duplicates_gallery()    # 重复图像画廊
fd.vis.outliers_gallery()      # 异常值画廊
fd.vis.component_gallery()     # 连接组件画廊
fd.vis.stats_gallery()         # 图像统计画廊
fd.vis.similarity_gallery()    # 相似图像画廊