代码实现将数据集按比例分成训练集和验证集_按比例划分训练集验证集代码-优快云博客

本文链接：https://blog.youkuaiyun.com/AugustMe/article/details/109224435

该博客介绍了如何使用Python脚本将图像数据集按照指定比例划分为训练集和验证集。原始文件结构包含两个子目录A和B，分别存储不同类别的图片。通过运行代码，将每个子目录中的部分图片随机移动到新的验证集目录中，实现了数据集的划分。此过程对于机器学习和深度学习模型的训练至关重要，确保模型在未见过的数据上也能表现良好。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一开始的文件结构：

----train
        |---A
             |---1.jpg
             |---2.jpg
             |---3.jpg
             ...
             |---100.jpg
        |---B
             |---1.jpg
             |---2.jpg
             |---3.jpg
             ...
             |---100.jpg

运行代码后的文件结构：

----train
        |---A
             |---1.jpg
             |---9.jpg
             |---10.jpg
             ...
             |---100.jpg
        |---B
             |---2.jpg
             |---11.jpg
             |---20.jpg
             ...
             |---89.jpg
----val
        |---A
             |---2.jpg
             |---5.jpg
             |---6.jpg
             ...
             |---90.jpg
        |---B
             |---1.jpg
             |---3.jpg
             |---5.jpg
             ...
             |---100.jpg

# coding=utf-8
import os, random, shutil

def moveFile(fileDir):
    pathDir = os.listdir(fileDir)  # 取图片的原始路径
    filenumber = len(pathDir)
    picknumber = int(filenumber * ratio)  # 按照rate比例从文件夹中取一定数量图片
    sample = random.sample(pathDir, picknumber)  # 随机选取picknumber数量的样本图片
    for name in sample:
        shutil.move(os.path.join(fileDir, name), os.path.join(tarDir, name))
    return


if __name__ == '__main__':
    ori_path = r'/home/ubuntu/ZQQ/HuaLuBei/data/train'  # 最开始train的文件夹路径
    split_Dir = r'/home/ubuntu/ZQQ/HuaLuBei/data/val'  # 移动到新的文件夹路径
    ratio = 0.2  # 抽取比例
    for firstPath in os.listdir(ori_path):
        fileDir = os.path.join(ori_path, firstPath)  # 原图片文件夹路径
        tarDir = os.path.join(split_Dir, firstPath)  # val下子文件夹名字
        if not os.path.exists(tarDir):  # 如果val下没有子文件夹，就创建
            os.makedirs(tarDir)
        moveFile(fileDir)  # 从每个子类别开始逐个划分