sklearn.utils.shuffle 用法小技巧

最新推荐文章于 2024-04-16 15:16:46 发布
原创 最新推荐文章于 2024-04-16 15:16:46 发布 · 1.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sklearn #python #机器学习

本文介绍了一种使用Python中的sklearn库实现多个数组统一打乱的方法，通过示例展示了如何对不同数组进行同步随机排序，确保每个数组中元素对应位置的一致性，这对于机器学习数据预处理尤其有用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

是可以打乱多组数据的，不局限与x，y。

import numpy as np
import random
from sklearn.utils import shuffle

a = np.array([1,2,3,4,5])
b = np.array([0.1,0.2,0.3,0.4,0.5])
c = np.array([-1,-2,-3,-4,-5])

a,b,c = shuffle(a,b,c)
print(a)
print(b)
print(c)

# output:
# [1 4 2 5 3]
# [0.1 0.4 0.2 0.5 0.3]
# [-1 -4 -2 -5 -3]

sklearn中shuffle的用法
weixin_38410551的博客
02-21 7803
功能：shuffle打乱样本的顺序。 参考链接： https://blog.csdn.net/hustqb/article/details/78077802
sklearn方法大全
rankiy的博客
10-21 8122
API参考 这是scikit-learn的类和函数参考。有关更多详细信息，请参阅完整的用户指南，因为类和函数的原始规范可能不足以提供有关其用法的完整指南。有关在API上重复的概念的参考，请参阅“通用术语表和API元素”。 sklearn.base：基类和实用程序函数 所有估计量的基类。 基类 base.BaseEstimator scikit-learn中所有估计量的基类 base.Biclust...
sklearn.utils.shuffle解析
hustqb的博客
09-24 2万+
在进行机器学习时，经常需要打乱样本，这种时候Python中叒有第三方库提供了这个功能——sklearn.utils.shuffle。
用 sklearn.utils.shuffle 来打乱样本顺序
cocofisher的博客
04-16 8672
直接举例说明： import sklearn X = np.array([[1, 2], [3, 4], [5, 6]]) Y = np.array([[1], [2], [3]]) print(X) print(Y) [[1 2] [3 4] [5 6]] [[1] [2] [3]] x, y = sklearn.utils.shuffle(X, Y) print(x) print(...
sklearn常用trick之shuffle
qq_41664939的博客
03-05 2244
文章目录sklearn常用trick之shufflesklearn.utils.shuffle小例子(该方法可将数据顺序打乱，避免有序数据对模型的影响，常在数据处理部分使用) sklearn常用trick之shuffle sklearn.utils.shuffle sklearn.utils.shuffle(*arrays, random_state=None, n_samples=None) 小例子(该方法可将数据顺序打乱，避免有序数据对模型的影响，常在数据处理部分使用) import numpy
sklearn学习小结
xiaomu_347的博客
04-16 1029
Scikit-learn（简称sklearn）是一个广泛使用的Python机器学习库，提供了大量的数据结构和算法，用于数据挖掘和数据分析。下面就其具体使用进行如下总结：（1）安装（2）使用说明。
import numpy as np import matplotlib.pyplot as plt import pandas as pd import torch import torch.nn as nn from sklearn.preprocessing import StandardScaler from torch.utils.data import Dataset, DataLoader # 加载数据集 data = pd.read_csv('pfyh.csv') df = pd.DataFrame(data) dataset = df.iloc[:, 2:].to_numpy() df.head() # 可视化数据 # 简单数据可视化 plt.plot(df.iloc[:, 2]) plt.title("Data Visualization") plt.show() # 提取特征和标签 X = np.array(dataset[:, :-1]) y = np.array(dataset[:, -1]) # 数据标准化和归一化 scaler = StandardScaler() X = scaler.fit_transform(X) y = y / 1000 # 划分训练集和测试集（90%训练，10%测试） split_index = int(len(X) * 0.9) X_train, X_test = X[:split_index], X[split_index:] y_train, y_test = y[:split_index], y[split_index:] # 自定义PyTorch数据集类 class TimeSeriesDataset(Dataset): def __init__(self, x, y, sequence_length): self.x = x self.y = y self.sequence_length = sequence_length def __len__(self): return len(self.x) - self.sequence_length def __getitem__(self, idx): return ( torch.tensor(self.x[idx:idx + self.sequence_length], dtype=torch.float), torch.tensor(self.y[idx + self.sequence_length], dtype=torch.float) ) # 创建数据集和数据加载器 sequence_length = 14 train_dataset = TimeSeriesDataset(X_train, y_train, sequence_length) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True) test_dataset = TimeSeriesDataset(X_test, y_test, sequence_length) test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False) # 定义LSTM模型 class LSTMModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(LSTMModel, self).__init__() self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) self.init_weights() def forward(self, x): out, _ = self.lstm(x) out = self.fc(out[:, -1, :]) return out def init_weights(self): torch.manual_seed(42)
03-31
可能还需要考虑时间序列的窗口大小选择，是否使用滑动窗口方法，或者如何处理多变量输入。对于单步预测和多步预测，模型结构是否需要调整？比如使用Seq2Seq结构或者直接多输出。 总结一下，我需要从数据预处理、...
浅谈keras通过model.fit_generator训练模型(节省内存)
09-16
- **shuffle**：布尔值，只有在使用`keras.utils.Sequence`时可用，用于确定是否在每个epoch开始前随机打乱数据顺序。 - **initial_epoch**：指定开始训练的epoch数，通常用于继续先前中断的训练。 #### 2. ...
import json import os import numpy as np import joblib from sklearn import metrics from sklearn.datasets import make_circles, load_iris from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.preprocessing import PolynomialFeatures import torch import torch.nn as nn import torch.nn.functional as F class CustomLinear(nn.Module): def __init__(self, in_features, out_features): super(CustomLinear, self).__init__() self.w = nn.Parameter(torch.empty(in_features, out_features)) self.b = nn.Parameter(torch.empty(out_features)) # 参数初始化 nn.init.uniform_(self.w) self.b.data.fill_(0.02) def forward(self, x): # return x @ self.w + self.b return torch.matmul(x, self.w) + self.b class NetworkV0(nn.Module): def __init__(self, in_features, num_classes): """ 负责模型的初始化：仅负责当前模块/模型内部包含的参数、子模块的初始化(创建)；不包含执行图的构造 :param in_features: :param num_classes: """ super(NetworkV0, self).__init__() # alpha不属于参数 self.alpha = torch.randn(2) # 第一个隐层 self.w1 = nn.Parameter(torch.empty(in_features, 8)) self.b1 = nn.Parameter(torch.empty(8)) # 第二个隐层 self.fc2 = CustomLinear(8, 16) # 第三个隐层 self.fc3 = nn.Linear(16, 32) self.relu3 = nn.ReLU() # 输出层 self.classifier = nn.Linear(32, num_classes) # 参数初始化 nn.init.uniform_(self.w1) nn.init.uniform_(self.b1) # self.parameters(): 获取当前模块内的所有参数包括子模块 # for param in self.parameters(): # pass def forward(self, x): """ 当前模型/模块对应的前向执行图； ps: forward支持多个入参 ---> 也就是普通的方法定义 ps: 整个网络全部由全连接+relu激活函数构成，3个隐层 + 1个输出层 --> 总共4个全连接 + 3个激活 :param x: [bs, in_features] bs个样本，每个样本对应的特征属性维度大小为in_features :return: score 预测每个样本对应各个类别的置信度值 [bs, num_classes] """ # 第一个隐层 [bs,in_features] * [in_features,8] + [8] -> [bs,8] z1 = F.relu(x @ self.w1 + self.b1) # 第二个隐层 [bs,8] * [8,16] + [16] -> [bs,16] z2 = F.relu(self.fc2(z1)) # 第三个隐层 [bs,16] * [16,32] + [32] -> [bs,32] z3 = self.relu3(self.fc3(z2)) # 输出层 得到预测置信度值 return self.classifier(z3) class Network(nn.Module): def __init__(self, in_features, num_classes): """ 负责模型的初始化：仅负责当前模块/模型内部包含的参数、子模块的初始化(创建)；不包含执行图的构造 :param in_features: :param num_classes: """ super(Network, self).__init__() # 特征提取层 self.features = nn.Sequential( CustomLinear(in_features, 8), nn.ReLU(), CustomLinear(8, 16), nn.ReLU(), nn.Linear(16, 32), nn.ReLU() ) # 输出层 self.classifier = nn.Linear(32, num_classes) def forward(self, x): """ 当前模型/模块对应的前向执行图； ps: forward支持多个入参 ---> 也就是普通的方法定义 ps: 整个网络全部由全连接+relu激活函数构成，3个隐层 + 1个输出层 --> 总共4个全连接 + 3个激活 :param x: [bs, in_features] bs个样本，每个样本对应的特征属性维度大小为in_features :return: score 预测每个样本对应各个类别的置信度值 [bs, num_classes] """ # 特征提取 [bs,in_features] -> [bs,32] x = self.features(x) # 输出层 得到预测置信度值 return self.classifier(x) def tt_network(): net = Network(in_features=4, num_classes=2) print(net) print("=" * 100) for name, param in net.named_parameters(): print(f"参数名称: {name} 对应参数shape: {param.shape} 参数里面的第一个值: {param.view(-1)[0]}") if name == 'b1': print(param) x = torch.randn(5, 4) r = net(x) print(r.shape) # noinspection DuplicatedCode def training(): # 1. 数据加载 x, y = make_circles(n_samples=1000, noise=0.2, factor=0.01, random_state=1) # x, y = load_iris(return_X_y=True) print(f"特征属性shape: {x.shape}") print(f"目标属性shape: {y.shape}") y = ['M' if _y == 0 else 'F' for _y in y] y = np.asarray(y) print(f"目标属性y的取值: {np.unique(y)}") in_features = x.shape[1] classes_number = len(np.unique(y)) # 2. 数据处理 X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.4, random_state=42) # 3. 模型训练 # 3.1 创建 --> 需要人为构造出网络结构、优化器、损失函数 # 模型初始化 ----> 构造网络的执行图(构建图中的各个模块) net = Network(in_features=in_features, num_classes=classes_number) # Loss Function的构造 # 优化器构造 # 3.2 训练 --> 需要人为进行数据的遍历以及前向反向过程的代码编写 # 3.2.1 前向过程的执行 ----> # 属于网络的执行图的构建(模型的执行顺序) # loss的获取 # 3.2.2 反向过程的执行 ----> 不需要人为构造（框架会帮我们完成） # + 梯度计算 + 参数的更新 + 梯度重置为0 # NOTE: 训练是一个循环的过程，所以在训练过程中会有模型评估和模型持久化的操作 # 4. 模型评估 # 4.1 需要人为进行数据遍历、模型的推理预测、预测结果的评估 # 5. 模型持久化保存磁盘 pass if __name__ == '__main__': tt_network()
最新发布
07-15
我们正在构建一个用于二分类的PyTorch神经网络，使用合成圆数据集（circle data）。我们将使用全连接层（Linear layers）和ReLU激活函数。任务包括模型结构定义和训练循环设置。 步骤： 1. 生成合成圆数据集：两...
python中的sklearn_python机器学习库sklearn——集成方法
weixin_39737240的博客
11-21 407
编辑推荐:本文来自csdn，本文将介绍sklearn中如何使用集成学习,模块还支持树的并行构建和预测结果的并行计算，希望对您的学习有所帮助。集成方法 的目标是把多个使用给定学习算法构建的基估计器的预测结果结合起来，从而获得比单个估计器更好的泛化能力/鲁棒性。Bagging 元估计器# 产生样本数据集from sklearn.model_selection import cross_val_scor...
Python之shuffle多参数给列表洗牌
huanhuan_Coder的博客
09-20 2465
  shuffle() 方法将序列的所有元素随机排序。需要导入的包是：from sklearn.utils import shuffle 之前接触的shuffle函数都是参数是单列表的，如下： from sklearn.utils import shuffle a = [1, 2, 3, 4, 5] a = shuffle(a) print(a) 输出的结果是： [5, 3, 1, 2, 4] ...
python笔记之shuffle打乱操作
Meyoull123的博客
07-18 887
比如： 当你训练数据集时候，想要将数据集随机打乱后使用，这个时候，一个简单的“shuffle”可以帮你解决问题。 “random.shuffle：打乱顺序” 案例1： from random import shuffle a=[1,2,3,4,5] shuffle(a) print(a) 输出结果： 案例2： 一个数据集“长度”是len_num from random import shuffle len_num=17 num=list(range(len_num)) shuffle(num) prin
Python_外部模块random
上官Teacher的学习空间
11-16 244
生成随机序列 初始 from random import shuffle A=[1,2,3,4] B=[1,2,3,4] print("顺序号：") print(A) print(B) shuffle(A) shuffle(B) print("随机号：") print(A) print(B) 运行结果 改进后 from random import shuffle A=[i for i in range(1,9)] B=[i for i in range(1,9)] print("顺序号：")
python shuffle函数_python中shuffle()方法的功能详解
weixin_28693309的博客
03-01 1万+
python的概率分布中，洗牌算法是通过shuffle()方法实现的，shuffle()方法将列表的所有元素打乱，随机排列。Python既可以使用random.shuffle对列表进行洗牌，也可以使用random.shuffle随机播放字符串列表，本文向大家介绍python中shuffle()方法的功能详解。一、shuffle()方法是打乱序列里面的元素，并随机排列的。1、shuffle()方法使...
机器学习训练中图像处理常用到的几个小函数
xiaomu_347的博客
04-20 2422
最近在忙于图像处理，经常会需要用到批重命名、批resize、对图像进行分割、对图像进行旋转拉伸加噪点等数据扩容方式、对图像数据集打乱、切分训练集和验证集等操作，下面就这些操作进行下面总结： （1）rename import os path="I:\\Sample" count=1 for item in os.listdir(path): src=os.path.join...
Python-Pandas 如何shuffle（打乱）数据？
热门推荐
SCUT_Sam
04-28 14万+
在Python里面，使用Pandas里面的DataFrame来存放数据的时候想要把数据集进行shuffle会许多的方法，本文介绍两种比较常用而且简单的方法。 应用情景： 我们有下面以个DataFrame 我们可以看到Type的数值是按照1,1,1,...2,2,2...,3,3,3..这样排列的，我们希望不保持这个次序，但是同时列属性又不能改变，即如下效果：
sklearn.utils.shuffle-训练数据打乱的最佳方法
weixin_30588675的博客
12-24 5587
　　在进行模型训练前，我们要将数据打乱，以获得更好的训练效果。可以使用sklearn.utils中的shuffle，获得打乱后的数据索引，最后，迭代生成打乱后的batch数据，一个写好的模块如下。 　　思路是：1.先shuffle　　2.再迭代生成 1 def fill_feed_dict(data_X, data_Y, batch_size): 2 """Generator...
180304 Keras+Sklearn打乱数据顺序 and 按比例分割训练+测试数据
专注机器学习之路
03-04 5587
打乱数据顺序 # shufle from sklearn.utils import shuffle b_train,b_label = shuffle(b_train,b_label) 按比例将数据分割成训练集+测试集 # split the original training data into two parts: training data and validation data # this
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值