打乱训练数据的方法

本文介绍了多种用于打乱机器学习训练数据的方法,包括使用sklearn的shuffle函数、numpy的random模块、TensorFlow的数据集API及numpy的permutation函数。这些方法能够确保数据集的随机性,提高模型训练效果。
部署运行你感兴趣的模型镜像

记录一下打乱训练数据的几种方法


  • sklearn.utils.shuffle

shuffle(array): array是带索引的序列,可以是arrays, lists, dataframes或scipy sparse matrices。

  • np.random.shuffle

shuffle(array): 同上

  • 对index索引乱序,再按乱序后的索引更新x、y数据

index = np.arange(0,y_train.shape[0],1):0是起点,y_train.shape[0]是终点,1是步长。
np.arange()函数返回一个有起点和终点的固定步长的排列,如[1,2,3,4,5],起点是1,终点是5,步长为1。

  • tf.data.Dataset.shuffle(buffer_size)

buffer_size表示填充缓冲区大小,从该缓冲区中随机采样元素,用新元素替换所选元素。为了实现完美的混乱,需要缓冲区大小大于或等于数据集的完整大小。
dataset = tf.data.Dataset.range(3)
dataset = dataset.shuffle(3, reshuffle_each_iteration=True)

  • np.random.permutation

permutation随机排列一个序列

shuffled_index = np.random.permutation([i for i in range(数据的长度)])
shuffled_train = [train[i] for i in shuffled_index]
shuffled_label = [train_label[i] for i in shuffled_index]
shuffled_train = np.array(shuffled_train)
shuffled_label = np.array(shuffled_label)

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值