打乱训练数据的方法

LittleSunlight

已于 2022-10-08 16:17:44 修改

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python

于 2022-09-19 13:50:39 首次发布

本文链接：https://blog.youkuaiyun.com/LittleSunlight/article/details/126932048

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了多种用于打乱机器学习训练数据的方法，包括使用sklearn的shuffle函数、numpy的random模块、TensorFlow的数据集API及numpy的permutation函数。这些方法能够确保数据集的随机性，提高模型训练效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

记录一下打乱训练数据的几种方法

sklearn.utils.shuffle

shuffle(array): array是带索引的序列，可以是arrays, lists, dataframes或scipy sparse matrices。

np.random.shuffle

shuffle(array): 同上

对index索引乱序，再按乱序后的索引更新x、y数据

index = np.arange(0,y_train.shape[0],1)：0是起点，y_train.shape[0]是终点，1是步长。
np.arange()函数返回一个有起点和终点的固定步长的排列，如[1,2,3,4,5]，起点是1，终点是5，步长为1。

tf.data.Dataset.shuffle(buffer_size)

buffer_size表示填充缓冲区大小，从该缓冲区中随机采样元素，用新元素替换所选元素。为了实现完美的混乱，需要缓冲区大小大于或等于数据集的完整大小。
dataset = tf.data.Dataset.range(3)
dataset = dataset.shuffle(3, reshuffle_each_iteration=True)

np.random.permutation

permutation随机排列一个序列

shuffled_index = np.random.permutation([i for i in range(数据的长度)])
shuffled_train = [train[i] for i in shuffled_index]
shuffled_label = [train_label[i] for i in shuffled_index]
shuffled_train = np.array(shuffled_train)
shuffled_label = np.array(shuffled_label)