python脚本 随机分开训练集测试集文件

最新推荐文章于 2022-04-20 10:58:40 发布
原创 最新推荐文章于 2022-04-20 10:58:40 发布 · 264 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种使用Python的random.sample函数从指定目录中随机抽取文件的方法，并演示了如何将抽取出的文件从源目录移动到目标目录。示例代码展示了如何结合os和shutil模块实现这一过程。

代码老忘，记录一下

主要就是random.sample

import os,random,shutil

#文件路径list
fileDir='./label/'
pathdir=os.listdir(fileDir)

rate=0.8
picknumber=int(len(pathdir)*rate)
sample = random.sample(pathdir, picknumber)
#输入路径，输出路径的转移
for name in sample:
    shutil.move(fileDir+name, fileDir+'dev/'+name)

 

python读取数据集文件下所有文件并打乱划分生成训练测试txt文件（生成train.txt、test.txt，顺序随机，默认比例8:2）
weixin_44414948的博客
11-26 7870
因为每次读取数据集都要写加载代码，十分浪费时间，而我本人又比较懒。故写了个python小工具，一键运行，读取数据集文件下所有文件并打乱划分生成训练测试txt文件（生成train.txt、test.txt，顺序随机，默认比例8:2），十分方便。 运行脚本前需要将文件夹整理为这类的形式： root = “C:\Users\hq\Desktop\HoldingObject\pokemon”（记得改为自己的根路径） 路径树如下（文件夹、图片数量无限制）： —pokemon ——0（此处文件夹名为标签） ————1
实验一：用python实现感知机并对鸢尾花数据集分类
YunduanBeichen的博客
10-27 8418
实验一：感知器 1. 实验内容： (1) 用你熟知的语言(尽量使用python)实现感知器的算法，并在给定的数据集上训练。 (2) 在测试集上用训练好的感知器模型进行测试，并将预测结果以csv格式保存为一行预测的分类。 (3) 简要说明算法原理，记录实验过程的关键步骤，以及实验过程中遇到的问题和解决方法。 (4) 尝试与上次实验进行数据互换对比两种算法。 2. 实验说明： 数据集为鸢尾花数据集，有三个类别，其中setosa与另外两种之间是线性可分的。
DeepLearningDatasetSplits：将图像数据集分为训练集和测试集的脚本
02-18
DeepLearningDatasetSplits 将图像数据集分为训练集和测试集的脚本 加州大学圣地亚哥分校鸟200 设置的层次结构： 将脚本与图像（ ）和训练/测试文本拆分文件（）放在同一目录中 | |--ucsd_birds_test_train_split.py |--images (downloaded images) |--train (will be created by script itself) |--test (will be created by script itself) |--train.txt |--test.txt
python 生成测试文件
05-20 721
#coding=utf-8 import time import random import os import sys import datetime #sys.argv[1] #{"nodeID": "1001","url": "http://player.youku.com/player.php/Type/Folder/Fid/22230731/Ob/1/sid/XNzEwNzY5Njk2/
Python 实现训练集、测试集随机划分
12-23
随机从列表中取出元素： import random dataSet = [[0], [1], [2], [3], [4], [5], [6], [7], [8], [9], [10]] trainDataSet = random.sample(dataSet, 3) 以下函数，使用于我最近的一个机器学习的项目，将数据集数据按照比例随机划分成训练集数据和测试集数据： import csv import random def getDataSet(proportion): """ :exception 获取训练集和测试集(将数据按比例随机划分) :parame
python随机划分训练集——python取list中不包含的元素
weixin_41529093的博客
04-20 1038
仅作为记录，大佬请跳过。 文章目录python随机划分训练集python取list中不包含的元素全部程序 python随机划分训练集 用test_set = random.sample(source_lst, int(0.2*len(source_lst))) 参考 传送门 python取list中不包含的元素 用train_set = [x for x in source_lst if x not in test_set] 全部程序 '''source中所有图块''' source_dir = '/dat
#使用python处理分割数据集，并按比例随机划分训练集与测试集
热门推荐
aban77和大肥狼的博客
11-29 2万+
一些分割数据集会给出类似的图片作为label 我们要将其对应的灰度值转化为标签 获取文件列表 def get_files(files_dir): files_list = [] for file in os.listdir(files_dir): files_list.append(file) return files_list 根据标签进...
写一个python软件，将多个yolov5数据集文件文件夹通过复制粘贴进行合并，合并后对其进行随机划分用户通过输入训练集、测试集、验证集的划分比例对数据集进行划分
最新发布
02-18
好的，我现在需要帮用户写一个Python脚本，用来合并多个YOLOv5数据集文件夹，并按用户指定的比例划分训练集、测试集和验证集。首先，我需要理解用户的需求。用户可能是一个做机器学习的人，特别是使用YOLOv5进行目标...
乳腺癌数据深度分析：Python脚本展示
案例中提到的乳腺癌数据集可能指的是威斯康星大学乳腺癌数据集（Wisconsin Breast Cancer Dataset），这是一个广泛使用的公共数据集，其中包含了肿瘤的特征数据和对应的良性或恶性标签，用于训练和测试分类算法。...
基于ELM的逻辑回归二分类样本数据集
原始数据通常包含未经处理的特征向量及其对应的类别标签，是构建训练集和测试集的基础。通过对原始数据进行预处理、划分和格式化，可以得到用于模型训练和评估的标准输入。该数据集中还明确提供了分开的训练样本...
Python——随机森林
yuanCruise
03-26 5379
    随机森林讲解文档（scikit-learn官方文档）           scikit-learn的官方文档：http://scikit-learn.org/stable/modules/ensemble.html#forests-of-randomized-trees　　        主要告诉大家如何使用scikit-learn包中的类方法来进行随机森林算法的预测。其中讲的比较...
Python 处理图像分类数据集之训练集、测试集分离(随机)
hb_learing的博客
04-06 9979
本段代码的功能是以一定的比例来划分数据集为测试集、训练集，且在不改变原数据集的情况下把属于每一个类别的训练集和测试集图片copy到另外两个文件夹train、test下： 只需给出上图文件夹所在绝对路径、训练集和测试集的划分比例即可: import os import random import shutil import csv import numpy as np def CopyFile(imageDir,test_rate,save_test_dir,save_train_dir):#三个参数，第一
random state 的值设定
zz2230633069的博客
06-11 2万+
种子(seed)值会控制生成伪随机数所用公式产生的第一个值，由于公式是确定的，改变种子也就设置了整个要生成的序列。 seed()的参数可以是任意可散列对象。默认会使用平台特定的随机源（如果有的话）。否则，会使用当前时间。   sklearn.model_selection.train_test_split随机划分训练集和测试集     一般形式： train_test_split是交叉...
python将数据分成训练集和测试集
一千零一夜的博客
07-09 9974
一,分割任务 """ 将数据集随机分成训练集、测试集 传入参数： ratio = 0.7 # 训练样本比例 path = "/home/pi/20190701_0705" # 数据路径 new_path = "/home/pi/20190701_0705_new2" # 保存路径 使用方法： temp = Generate_Train_and_Test(path, new_path,...
数据集划分脚本
greatwind的博客
03-11 693
此代码将数据集分为：训练+验证，训练集，验证集，测试集，根据实际情况取相对应的文件即可。比如： 若你的训练代码中不包含验证集划分，取训练集，验证集，测试集使用；若包含验证集划分，取训练+验证，测试集使用。 新建一个split_train_test.py文件，用来划分数据集，代码如下： import os import random trainval_percent = 0.9 # 训练+验证 train_percent = 0.9 #训练 xmlfilepath = 'DataSet\\Ann
Python 分组处理
rqgxy的博客
12-03 9227
在日常数据分析时，经常会遇到需要按列分组 (groupby) 的任务，如计算某公司各部门的人数，计算各部门男女平均工资，计算不同年代的员工的平均工资等等。在进行这类运算时，Pandas 提供了 groupby 函数，大多数问题它都可以解决，但有一些问题使用 groupby 函数会略显麻烦，下面我们就这些问题展开细致的讨论。 groupby 是 pandas 中非常重要的一个函数, 主要用于数据分类和聚合计算. 其思想是“split-apply-combine”（拆分 - 应用 - 合并），如下图：
随机拆分一个正数为任意份
TG's Maze
05-20 2485
问题提出 设一个正数sum，需将其随机分为n份，其和仍保持为sum。 思路 思考线索如下： 先转为正整数问题，浮点数可以转为整数*10^m(m<0) 替换处理。 问题转变：假设存在sum个点排为一列，则存在sum-1个间隔。往间隔中插入n-1个分割板，将点分为n份。 解决步骤：随机抽取n-1个小于sum的数组成数组，进行顺序排序，并在头部加0，尾部加sum。每个数之间的差(...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值