划分数据集常用代码

最新推荐文章于 2025-04-19 15:52:55 发布

Rashore

最新推荐文章于 2025-04-19 15:52:55 发布

阅读量4.5k

点赞数 5

文章标签：人工智能机器学习 pycharm

本文链接：https://blog.youkuaiyun.com/ruoruoruo666/article/details/121662250

版权

这段代码将一个图片数据集按照80%、10%、10%的比例分别划分为训练集、验证集和测试集。首先获取所有图片文件名，然后使用随机.shuffle打乱顺序，再依据设定的比例复制到对应的文件夹中。该过程对于机器学习模型的训练和评估至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要思路将一个数据集文件前80%用于训练，80%-90%用于测试，90%-100%用于验证。

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
# 将一个文件夹下图片按比例分在三个文件夹下
import os
import random
import shutil
from shutil import copy2
datadir_normal = "./RSICD_images/"

all_data = os.listdir(datadir_normal)#（图片文件夹）
num_all_data = len(all_data)
print( "num_all_data: " + str(num_all_data) )
index_list = list(range(num_all_data))
#print(index_list)
random.shuffle(index_list)
num = 0

trainDir = "./RSICD_train/"#（将训练集放在这个文件夹下）
if not os.path.exists(trainDir):
    os.mkdir(trainDir)
        
validDir = './RSICD_val/'#（将验证集放在这个文件夹下）
if not os.path.exists(validDir):
    os.mkdir(validDir)
        
testDir = './RSICD_test/'#（将测试集放在这个文件夹下）        
if not os.path.exists(testDir):
    os.mkdir(testDir)
        
for i in index_list:
    fileName = os.path.join(datadir_normal, all_data[i])
    if num < num_all_data*0.8:
        #print(str(fileName))
        copy2(fileName, trainDir)
    elif num>num_all_data*0.8 and num < num_all_data*0.9:
        #print(str(fileName))
        copy2(fileName, validDir)
    else:
        copy2(fileName, testDir)
    num += 1