Cross_validation.train_test_split 中 stratify这个参数的意义是什么？

最新推荐文章于 2025-04-15 08:56:38 发布
转载 最新推荐文章于 2025-04-15 08:56:38 发布 · 2.6k 阅读 · 1

本文详细解释了在使用sklearn库进行数据集划分时，如何利用stratify参数确保训练集与测试集之间的类别比例一致，这对于处理类别不平衡的数据尤为重要。

比单独使用train_test_split来划分数据更严谨

 

 

stratify是为了保持split前类的分布。比如有100个数据，80个属于A类，20个属于B类。如果train_test_split(... test_size=0.25, stratify = y_all), 那么split之后数据如下： 
training: 75个数据，其中60个属于A类，15个属于B类。 
testing: 25个数据，其中20个属于A类，5个属于B类。 
用了stratify参数，training集和testing集的类的比例是 A：B= 4：1，等同于split前的比例（80：20）。通常在这种类分布不平衡的情况下会用到stratify。

这个参数sklearn的文档4中讲的不是太清楚

帮助文档

http://scikit-learn.org/stable/modules/generated/sklearn.cross_validation.train_test_split.html

数据集划分——train_test_split函数使用说明
beyond谚语的博客
09-30 4702
当我们拿到数据集时，首先需要对数据集进行划分训练集和测试集，sklearn提供了相应的函数供我们使用。
sklearn train_test_split用法详解
weixin_45804601的博客
10-11 1117
【代码】sklearn train_test_split用法详解。
参数 stratify=y 在训练集和测试集划分中的作用！！
qlkaicx的博客
04-15 335
是否加stratify说明❌ 不加数据随机打乱，可能某些类别偏斜甚至丢失✅ 加stratify=y保持标签分布一致，适合分类问题，强烈建议使用。
sklearn train_test_split 中stratify参数解析
csdnypp的博客
08-22 1338
sklearn train_test_split 中stratify参数解析
from sklearn.model_selection import train_test_split 这个模块的功能
最新发布
10-17
用户的问题明确询问sklearn库中train_test_split模块的功能。根据提供的引用，我们可以总结如下： 引用[1]提到了train_test_split用于分割训练集和测试集。 引用[2]提到该函数在sklearn中，并且有随机种子的设置。 ...
``` import os import pandas as pd import numpy as np from sklearn.model_selection import train_test_split # 加载函数保持不变 def processTarget(): main_folder = 'C:/Users/Lenovo/Desktop/crcw不同端12k在0负载下/风扇端' data_list = [] label_list = [] for folder_name in sorted(os.listdir(main_folder)): folder_path = os.path.join(main_folder, folder_name) if os.path.isdir(folder_path): csv_files = [f for f in os.listdir(folder_path) if f.endswith('.csv')] print(f"Processing folder: {folder_name}, found {len(csv_files)} CSV files.") for filename in sorted(csv_files): file_path = os.path.join(folder_path, filename) csv_data = pd.read_csv(file_path, header=None) if csv_data.shape[1] >= 4: csv_data = csv_data.iloc[:, [0, 1, 2]].values else: print(f"Skipping file {filename}, unexpected shape: {csv_data.shape}") continue data_list.append(csv_data) if '内圈故障' in folder_name: class_label = 0 elif '球故障' in folder_name: class_label = 1 else: continue label_list.append(class_label) if data_list and label_list: data = np.array(data_list) # Shape: (num_samples, seq_length, num_features) labels = np.array(label_list) # Shape: (num_samples,) return data, labels else: raise ValueError("No valid data available to process.") # 划分数据集 def split_datasets(X, y, test_size=0.2, val_size=0.25): """ :param X: 特征数据数组 :param y: 标签数组 :param test_size: 测试集占比，默认值为 0.2（即 80% 训练 + 验证） :param val_size: 验证集占剩余训练数据的比例，默认值为 0.25 """ X_train_val, X_test, y_train_val, y_test = train_test_split( X, y, test_size=test_size, stratify=y, random_state=42 ) # 继续从剩下的数据中切出 validation set X_train, X_val, y_train, y_val = train_test_split( X_train_val, y_train_val, test_size=val_size, stratify=y_train_val, random_state=42 ) return X_train, X_val, X_test, y_train, y_val, y_test if __name__ == "__main__": try: data0, label0 = processTarget() # 分割成训练集、验证集和测试集 X_train, X_val, X_test, y_train, y_val, y_test = split_datasets(data0, label0) print("Training Set:", X_train.shape, y_train.shape) print("Validation Set:", X_val.shape, y_val.shape) print("Testing Set:", X_test.shape, y_test.shape) # 存储结果以便后续步骤使用 np.savez('datasets.npz', X_train=X_train, y_train=y_train, X_val=X_val, y_val=y_val, X_test=X_test, y_test=y_test) except ValueError as e: print(e)```这是我将数据集划分训练集，测试集，验证集的代码，现在，我要在这个代码的基础上对该数据集运用DEEP DOMAIN CONFUSION进行处理，可以给出完整的代码吗？要求：划分数据集和DEEP DOMAIN CONFUSION分为两个不同的文件
03-31
X_train_val, X_test, y_train_val, y_test = train_test_split( X, y, test_size=test_size, stratify=y, random_state=42 ) X_train, X_val, y_train, y_val = train_test_split( X_train_val, y_train_val,...
ValueError Traceback (most recent call last) Cell In[22], line 1 ----> 1 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 2 dtrain = xgb.DMatrix(X_train, label=y_train) 3 dtest = xgb.DMatrix(X_test, label=y_test) File ~\anaconda3\Lib\site-packages\sklearn\utils\_param_validation.py:216, in validate_params.<locals>.decorator.<locals>.wrapper(*args, **kwargs) 210 try: 211 with config_context( 212 skip_parameter_validation=( 213 prefer_skip_nested_validation or global_skip_validation 214 ) 215 ): --> 216 return func(*args, **kwargs) 217 except InvalidParameterError as e: 218 # When the function is just a wrapper around an estimator, we allow 219 # the function to delegate validation to the estimator, but we replace 220 # the name of the estimator by the name of the function in the error 221 # message to avoid confusion. 222 msg = re.sub( 223 r"parameter of \w+ must be", 224 f"parameter of {func.__qualname__} must be", 225 str(e), 226 ) File ~\anaconda3\Lib\site-packages\sklearn\model_selection\_split.py:2848, in train_test_split(test_size, train_size, random_state, shuffle, stratify, *arrays) 2845 if n_arrays == 0: 2846 raise ValueError("At least one array required as input") -> 2848 arrays = indexable(*arrays) 2850 n_samples = _num_samples(arrays[0]) 2851 n_train, n_test = _validate_shuffle_split( 2852 n_samples, test_size, train_size, default_test_size=0.25 2853 ) File ~\anaconda3\Lib\site-packages\sklearn\utils\validation.py:532, in indexable(*iterables) 502 """Make arrays indexable for cross-validation. 503 504 Checks consistent length, passes through None, and ensures that everything (...) 528 [[1, 2, 3], array([2, 3, 4]), None, <...Sparse...dtype 'int64'...shape (3, 1)>] 529 """ 531 result = [_make_indexable(X) for X in iterables] --> 532 check_consistent_length(*result) 533 return result File ~\anaconda3\Lib\site-packages\sklearn\utils\validation.py:475, in check_consistent_length(*arrays) 473 uniques = np.unique(lengths) 474 if len(uniques) > 1: --> 475 raise ValueError( 476 "Found input variables with inconsistent numbers of samples: %r" 477 % [int(l) for l in lengths] 478 ) ValueError: Found input variables with inconsistent numbers of samples: [4, 2]
09-18
在使用 `train_test_split` 函数时出现 `ValueError: Found input variables with inconsistent numbers of samples: [4, 2]` 错误，意味着输入的变量样本数量不一致。`train_test_split` 函数要求所有输入的数据...
-------------------------------------------------------------------------- ValueError Traceback (most recent call last) Cell In[76], line 2 1 from sklearn.model_selection import train_test_split ----> 2 features_train, features_test, labels_train, labels_test = train_test_split(features,labels,test_size=0.3, random_state=0) 3 print("训练集Feature的矩阵规模：", features_train.shape) 4 print("训练集Tag的矩阵规模：", labels_train.shape) File D:\Anaconda\Lib\site-packages\sklearn\utils\_param_validation.py:216, in validate_params.<locals>.decorator.<locals>.wrapper(*args, **kwargs) 210 try: 211 with config_context( 212 skip_parameter_validation=( 213 prefer_skip_nested_validation or global_skip_validation 214 ) 215 ): --> 216 return func(*args, **kwargs) 217 except InvalidParameterError as e: 218 # When the function is just a wrapper around an estimator, we allow 219 # the function to delegate validation to the estimator, but we replace 220 # the name of the estimator by the name of the function in the error 221 # message to avoid confusion. 222 msg = re.sub( 223 r"parameter of \w+ must be", 224 f"parameter of {func.__qualname__} must be", 225 str(e), 226 ) File D:\Anaconda\Lib\site-packages\sklearn\model_selection\_split.py:2848, in train_test_split(test_size, train_size, random_state, shuffle, stratify, *arrays) 2845 if n_arrays == 0: 2846 raise ValueError("At least one array required as input") -> 2848 arrays = indexable(*arrays) 2850 n_samples = _num_samples(arrays[0]) 2851 n_train, n_test = _validate_shuffle_split( 2852 n_samples, test_size, train_size, default_test_size=0.25 2853 ) File D:\Anaconda\Lib\site-packages\sklearn\utils\validation.py:532, in indexable(*iterables) 502 """Make arrays indexable for cross-validation. 503 504 Checks consistent length, passes through None, and ensures that everything (...) 528 [[1, 2, 3], array([2, 3, 4]), None, <...Sparse...dtype 'int64'...shape (3, 1)>] 529 """ 531 result = [_make_indexable(X) for X in iterables] --> 532 check_consistent_length(*result) 533 return result File D:\Anaconda\Lib\site-packages\sklearn\utils\validation.py:475, in check_consistent_length(*arrays) 473 uniques = np.unique(lengths) 474 if len(uniques) > 1: --> 475 raise ValueError( 476 "Found input variables with inconsistent numbers of samples: %r" 477 % [int(l) for l in lengths] 478 ) ValueError: Found input variables with inconsistent numbers of samples: [4, 490129]
07-03
这个错误表明 `features` 和 `labels` 的样本数量不一致（`features` 有 4 个样本，而 `labels` 有 490,129 个样本），导致 `train_test_split` 无法正常工作。以下是详细分析和解决方案： --- ### **错误原因** 1...
出现报错 PS C:\Users\FILWYZ> & C:/Users/FILWYZ/.conda/envs/MM/python.exe c:/Users/FILWYZ/Desktop/1三集划分+早停策略.py Traceback (most recent call last): File "c:\Users\FILWYZ\Desktop\1三集划分+早停策略.py", line 47, in <module> idx_trainval, idx_test = train_test_split(np.arange(num_samples), test_size=0.2, File "C:\Users\FILWYZ\.conda\envs\MM\lib\site-packages\sklearn\utils\_param_validation.py", line 218, in wrapper return func(*args, **kwargs) File "C:\Users\FILWYZ\.conda\envs\MM\lib\site-packages\sklearn\model_selection\_split.py", line 2940, in train_test_split train, test = next(cv.split(X=arrays[0], y=stratify)) File "C:\Users\FILWYZ\.conda\envs\MM\lib\site-packages\sklearn\model_selection\_split.py", line 1927, in split for train, test in self._iter_indices(X, y, groups): File "C:\Users\FILWYZ\.conda\envs\MM\lib\site-packages\sklearn\model_selection\_split.py", line 2342, in _iter_indices raise ValueError( ValueError: The least populated class in y has only 1 member, which is too few. The minimum number of groups for any class cannot be less than 2.
07-15
这个错误是由于在使用`train_test_split`的`stratify`参数时，某些分箱（bin）只有一个样本导致的。我们可以通过以下几种方式解决这个问题： 1. **减少分箱数量**：将分箱数从5减少到3或4。 2. **检查标签分布**：...
sklearn中train_test_split里，参数stratify含义解析
u012413709的博客
04-17 1358
https://blog.csdn.net/weixin_45281949/article/details/102767177
【Digit Recognizer】train_test_split 中使用 stratify ,保持数据划分后训练集和测试集的类别分布与原数据集一致
weixin_45153772的博客
04-07 755
这在类别不平衡（Class Imbalance）的场景下尤为重要，例如手写数字识别（MNIST）中某些数字的样本可能较少（如数字。可以确保划分后的子集保留原始数据的类别比例，避免模型因训练集或测试集分布偏差而表现异常。可能无法严格分层（因无法拆分为训练集和测试集），此时会抛出警告或错误。如果某个类别的样本数过少（例如某类仅有1个样本），的类别分布进行分层抽样。
机器学习工具之交叉验证数据集自动划分train_test_split
yiyisunshine的博客
04-18 3596
机器学习工具之交叉验证数据集自动划分 1. 使用方式： from sklearn.model_selection import train_test_split x_train,x_test,y_train,y_test=train_test_split (train_data,train_lable,test_size=0.3,random_state=o,stratify=trai...
train_test_split(X, y, stratify=y）
热门推荐
乘风破浪会有时
03-14 3万+
from sklearn.model_selecting import train_test_spilt() 参数stratify： 依据标签y，按原数据y中各类比例，分配给train和test，使得train和test中各类数据的比例与原数据集一样。 A:B:C=1:2:3 split后，train和test中，都是A:B:C=1:2:3 将stratify=X就是按照X中的比例分配 将
机器学习：训练集与测试集分割train_test_split
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
08-01 1万+
在使用机器学习训练模型算法的过程中，为提高模型的泛化能力、防止过拟合等目的，需要将整体数据划分为训练集和测试集两部分，训练集用于模型训练，测试集用于模型的验证。此时，使用train_test_split函数可便捷高效的实现数据训练集与测试集的划分。
sklearn中的train_test_split函数
weixin_67609590的博客
05-09 1635
可选参数，用于进行分层抽样。传入标签数组，保证划分后的训练集和测试集中各类别样本比例与原始数据集相同。: 单个数组或元组，表示需要划分的数据集。如果传入多个数组，则必须保证每个数组的第一维大小相同。函数是机器学习中一个非常重要的函数，它可以将数据集划分为训练集和测试集。: 测试集的大小（占总数据集的比例）。: 训练集的大小（占总数据集的比例）。: 是否随机打乱数据。互补，即训练集的大小为。表示训练集的特征数据，表示测试集的特征数据，表示训练集的标签数据，表示测试集的标签数据。，即普通的随机划分。
train_test_split(X, y, test_size=0.2, stratify=y)
weixin_43858465的博客
04-18 1万+
参数 stratify=y : 按照数据集中y的比例分配给train和test，使得train和test中各类别数据的比例与原数据集的比例一致。 举例： 原数据集中有100条数据，A类有80条，B类有20条，且前80条全为A类。 那么我们在不指定stratify参数的情况下，切分出前80条的数据就全部为A类。 所以我们要设置stratify=y来使得切分出的测试集与训练集中包含的类别为...
sklearn函数：train_test_split（分割训练集和测试集）
lhwjgs123456789的博客
02-08 4632
sklearn.model_selection.train_test_split(*arrays,**options) 函数官方文档：https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html#sklearn.model_selection.train_test_split 这个函数，是用来分割训练集和测试集的 小栗子 先生成一个原始数据集 x = np.random
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值