split-folders 项目常见问题解决方案

split-folders 项目常见问题解决方案

split-folders 🗂 Split folders with files (i.e. images) into training, validation and test (dataset) folders 项目地址: https://gitcode.com/gh_mirrors/sp/split-folders

项目基础介绍

split-folders 是一个用于将包含文件（如图像）的文件夹拆分为训练、验证和测试数据集文件夹的 Python 开源项目。该项目的主要目的是帮助用户轻松地将数据集划分为不同的子集，以便进行机器学习和深度学习任务。split-folders 支持多种文件类型，并且可以对文件进行随机打乱，确保数据集的划分具有随机性。

主要的编程语言

该项目完全使用 Python 编写，没有外部依赖，安装和使用都非常简单。

新手使用注意事项及解决方案

1. 文件夹结构不符合要求

问题描述：
新手在使用 split-folders 时，可能会遇到输入文件夹结构不符合要求的情况。split-folders 要求输入文件夹的结构如下：

input/
    class1/
        img1.jpg
        img2.jpg
    class2/
        imgWhatever.jpg

如果文件夹结构不符合上述格式，程序将无法正确划分数据集。

解决步骤：

1. 检查文件夹结构：
   确保输入文件夹中每个类别的文件都存放在单独的子文件夹中，且每个子文件夹名称代表一个类别。

2. 手动调整文件夹结构：
   如果文件夹结构不符合要求，可以手动将文件移动到相应的子文件夹中，或者编写一个简单的脚本来自动调整文件夹结构。

3. 示例脚本：

   import os
   import shutil
   
   input_folder = "input"
   output_folder = "output"
   
   # 创建输出文件夹
   os.makedirs(output_folder, exist_ok=True)
   
   # 遍历输入文件夹中的所有文件
   for root, dirs, files in os.walk(input_folder):
       for file in files:
           # 获取文件的类别（假设文件名中包含类别信息）
           class_name = file.split('_')[0]
           class_folder = os.path.join(output_folder, class_name)
           os.makedirs(class_folder, exist_ok=True)
           shutil.move(os.path.join(root, file), os.path.join(class_folder, file))
   

2. 数据集划分比例设置错误

问题描述：
新手在设置数据集划分比例时，可能会错误地设置比例，导致训练、验证和测试集的比例不符合预期。例如，设置的比例为 (0.8, 0.1, 0.1)，但实际划分结果可能与预期不符。

解决步骤：

1. 检查比例设置：
   确保在调用 splitfolders.ratio() 或 splitfolders.fixed() 时，比例设置正确。例如，如果希望训练集占 80%，验证集和测试集各占 10%，应设置为 (0.8, 0.1, 0.1)。

2. 使用固定数量划分：
   如果数据集较小，建议使用固定数量的划分方式，而不是比例划分。例如，设置 fixed=(100, 100) 表示验证集和测试集各有 100 个样本。

3. 示例代码：

   import splitfolders
   
   # 使用比例划分
   splitfolders.ratio("input_folder", output="output", seed=1337, ratio=(0.8, 0.1, 0.1))
   
   # 使用固定数量划分
   splitfolders.fixed("input_folder", output="output", seed=1337, fixed=(100, 100))
   

3. 数据集不平衡问题

问题描述：
在某些情况下，数据集中的类别可能不平衡，导致某些类别的样本数量远远少于其他类别。这会影响模型的训练效果。

解决步骤：

1. 启用随机过采样：
   split-folders 提供了随机过采样功能，可以在划分数据集时对不平衡的类别进行过采样，以确保每个类别的样本数量大致相同。

2. 设置过采样参数：
   在调用 splitfolders.ratio() 或 splitfolders.fixed() 时，设置 oversample=True 来启用过采样功能。

3. 示例代码：

   import splitfolders
   
   # 启用过采样
   splitfolders.ratio("input_folder", output="output", seed=1337, ratio=(0.8, 0.1, 0.1), oversample=True)
   

总结

split-folders 是一个非常实用的工具，能够帮助用户轻松地将数据集划分为训练、验证和测试集。新手在使用时需要注意文件夹结构、比例设置和数据集平衡等问题，通过上述解决方案可以有效避免常见问题。

split-folders 🗂 Split folders with files (i.e. images) into training, validation and test (dataset) folders 项目地址: https://gitcode.com/gh_mirrors/sp/split-folders