从图片到x_train,y_train的过程汇总

最新推荐文章于 2025-06-18 09:56:19 发布
原创 最新推荐文章于 2025-06-18 09:56:19 发布 · 9.7k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1、这个是从.npz 到x_train，y_train，至于从jpg到npz以后再总结：

(x_tain,y_train),(x_test,y_test) = mnist.loda_data('mnist.npz')
if K.image_data_format() == 'channels first':
	x_train = x_train.reshape([batch_size,1,img_rows,img_cols])  #step 1
	x_test = x_test.reshape([batch_size,1,img_rows,img_cols])
	input_shape = [1,img_rows,img_cols]
else:
	x_train = x_train.reshape([batch_size,img_rows,img_cols,1])
	x_test = x_test.reshape([batch_size,img_rows,img_cols,1])
	input_shape = [img_rows,img_cols,1]

x_train = x_train.astype('float32')     #step 2  GPU对单精度的计算性能更好
x_test = x_test.astype('float32')     #更正，第一遍写的这两块的先后顺序弄反了

x_train /=255
x_test /=255       #step 3



y_train = keras.utils.to_catagorical(y_train,num_classes)
y_test = keras.utils.to_categorical(y_test,num_classes)

得到了x_train ,y_train 就可以作为model.fit(x_train,y_train )的输入了
逻辑：以模型为中心，首先了解模型需要的输入，Keras 这里的model.fit(）方法 就是需要x_train，y_train，shape 是 [总样本数，img_rows,img_cols,通道数]，注意这个方法里的是总样本数，要实

最低0.47元/天 解锁文章

200万优质内容无限畅学
在keras中model.fit_generator()和model.fit()的区别说明
12-17
首先Keras中的fit()函数传入的x_train和y_train是被完整的加载进内存的,当然用起来很方便，但是如果我们数据量很大，那么是不可能将所有数据载入内存的，必将导致内存泄漏，这时候我们可以用fit_generator函数来进行训练。 keras中文文档 fit fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weig
根据视差图输出深度边沿, 并且将多个图片打包成 x_train,y_train
u012065954的博客
11-12 636
根据视差图输出深度边沿
x_train, x_test, y_train, y_test到底是什么？
lichunxia516的博客
07-31 2万+
最近在学随机森林，但是对于将数据集分成训练集和测试集的一些概念不是很懂，x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0) 找了很久都没有一个准确的答案，很多答案对y_train和 y_test的解释非常模糊。 后来才找到一个合理的解释，原来： 1. x_train:包括所有自变量，这些变量将用于训练模型，同样，我们已经指定测试_size=0.4，这意味着来自完整数据的60%的观察值
loc和iloc的详解及使用
weixin_67868534的博客
06-18 1044
Pandas中loc和iloc的核心差异在于索引方式：loc基于标签(label)选择数据，包含切片端点；iloc基于整数位置(integer position)，遵循左闭右开原则。loc适合按名称访问数据，支持条件筛选；iloc适合按物理位置选择，兼容NumPy操作。关键区别在于loc切片包含结束标签，而iloc不包含结束位置，使用时需根据业务场景选择合适方法。掌握这一区别能更高效处理DataFrame数据。
X_train, _, y_train, _ = load_gunpoint(return_X_y=True)
weixin_42594427的博客
01-06 829
X_train 是训练数据集中的输入特征，y_train 是训练数据集中的标签。在这个代码中，调用了 load_gunpoint 函数并使用参数 return_X_y=True，这意味着函数会返回包含输入特征和标签的数据集。这个代码会将返回值拆分成四个变量，其中 X_train 和 y_train 分别对应输入特征和标签。 你可以这样理解：在这个代码中，我们调用了 load_gunpoint 函数...
机器学习数据分割（x_train, y_train, x_test, y_test）
xiaomajv_zhao的博客
08-28 5418
#通常使用此方法 df = df[[c for c in df if c not in ['y']] + [c for c in ['y'] if c in df]] num = int(df.shape[0] * float(0.7)) train = df[: num] test = df[num:] x_train = np.array(train.iloc[:, 0:-1]) y_train = np.array(train.iloc[:, -1]) print('Training Features
随机森林算法训练及调参-附代码
weixin_43499818的博客
09-20 2万+
随机森林算法的理论知识 　　随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，但是它在分类和回归上表现出非常惊人的性能，因此，随机森林被誉为“代表集成学习技术水平的方法”。 一，随机森林的随机性体现在哪几个方面？ 1，数据集的随机选取 　　从原始的数据集中采取有放回的抽样（bagging），构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。 2，待选特征的随机选取 　　与数
对不同模型的超参数进行网格搜索和交叉验证，选取不同模型最佳的超参数 def ANN(X_train, X_test, y_train, y_test, StandScaler=None): if StandScaler: scaler = StandardScaler() # 标准化转换 X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test) clf = MLPClassifier(activation='relu', alpha=1e-05, batch_size='auto', beta_1=0.9, beta_2=0.999, early_stopping=False, epsilon=1e-08, hidden_layer_sizes=(10, 8), learning_rate='constant', learning_rate_init=0.001, max_iter=200, momentum=0.9, nesterovs_momentum=True, power_t=0.5, random_state=1, shuffle=True, solver='lbfgs', tol=0.0001, validation_fraction=0.1, verbose=False, warm_start=False) clf.fit(X_train, y_train.ravel()) y_pred = clf.predict(X_test) # 获取预测值 y_scores = clf.predict_proba(X_test) # 获取预测概率 return y_pred, y_scores def SVM(X_train, X_test, y_train, y_test): from sklearn.svm import SVC from sklearn.metrics import accuracy_score model = SVC(probability=True) # 确保启用概率估计 model.fit(X_train, y_train) y_pred = model.predict(X_test) y_prob = model.predict_proba(X_test) return y_pred def PLS_DA(X_train, X_test, y_train, y_test): # 将y_train转换为one-hot编码形式 y_train_one_hot = pd.get_dummies(y_train) # 创建PLS模型 model = PLSRegression(n_components=2) model.fit(X_train, y_train_one_hot) # 预测测试集 y_pred = model.predict(X_test) # 将预测结果转换为数值标签 y_pred_labels = np.array([np.argmax(i) for i in y_pred]) # 尝试计算近似概率值 # 通过将预测结果归一化到 [0, 1] 区间 y_scores = y_pred / np.sum(y_pred, axis=1, keepdims=True) return y_pred, y_scores def RF(X_train, X_test, y_train, y_test): """ 使用随机森林模型进行分类，并返回预测值和预测概率。 参数: X_train: 训练集特征 X_test: 测试集特征 y_train: 训练集标签 y_test: 测试集标签（用于评估，但不直接用于模型训练） 返回: y_pred: 预测的类别标签 y_prob: 预测的概率 """ # 创建随机森林模型 RF = Rand
03-25
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 2. 定义各个模型的Pipeline和参数网格： 例如，SVM： from sklearn.svm import SVC from sklearn.preprocessing ...
# def data_fitting_opt(x_train): # solutions = [] # pos_data = x_train[:len(x_train) // 2] # neg_data = x_train[len(x_train) // 2:] # for head in range(x_train.shape[1]):
03-25
return np.sum((x_train[:, head] @ w - y_train)**2) result = minimize(objective, x0=[0]) solutions.append(result.x) ``` --- ### 注意事项 1. **数据分割风险** - 当前直接将前50%作为正类可能不合理，...
``` import numpy as np import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.preprocessing import MinMaxScaler, StandardScaler from sklearn.svm import SVR from sklearn.metrics import mean_squared_error, r2_score df = pd.read_excel('集胞藻-Cd.xlsx') # 加载数据 df.columns = df.columns.str.strip() # 清理列名 # 定义特征和目标变量 features =['T','Ph','Biomass','Time','Initial'] target_column = 'Removel' # 提取特征和目标数据 X = df[features] y = df[target_column] # 示例代码，直接使用 sklearn 的数据集 # from sklearn.datasets import load_boston # data = load_boston() # X = data.data # y = data.target # 分割数据为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 特征归一化 scaler_X = MinMaxScaler() X_train_scaled = scaler_X.fit_transform(X_train) X_test_scaled = scaler_X.transform(X_test) # 目标归一化（修改后） scaler_y = MinMaxScaler() y_train_scaled = scaler_y.fit_transform(y_train.values.reshape(-1, 1)).flatten() y_test_scaled = scaler_y.transform(y_test.values.reshape(-1, 1)).flatten() # # 定义 SVR 参数网格 # param_grid = { # 'kernel': ['linear', 'rbf', 'poly'], # 'C': [1e0, 1e1, 1e2], # 'gamma': [0.1, 0.01, 0.001], # 'epsilon': [0.1, 0.2, 0.3] # } # # # 创建 SVR 模型 # svr = SVR() # 优化后的参数网格示例 param_grid = { 'kernel': ['rbf', 'poly'], 'C': np.logspace(-2, 3, 6), # [0.01, 0.1, 1, 10, 100, 1000] 'gamma': np.logspace(-4, 0, 5), # [0.0001, 0.001, 0.01, 0.1, 1] 'epsilon': [0.05, 0.1, 0.2], 'degree': [2, 3] } # 添加早停机制 svr = SVR(max_iter=10000, tol=1e-4) # 使用网格搜索进行参数优化 grid_search = GridSearchCV(svr, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1) grid_search.fit(X_train_scaled, y_train_scaled) # 获取最佳参数和最优模型 best_params = grid_search.best_params_ best_svr = grid_search.best_estimator_ # 预测 y_train_pred = best_svr.predict(X_train_scaled) y_test_pred = best_svr.predict(X_test_scaled) # 反归一化预测结果（如果目标进行了归一化） y_train_pred_original = scaler_y.inverse_transform(y_train_pred.reshape(-1, 1)).flatten() y_test_pred_original = scaler_y.inverse_transform(y_test_pred.reshape(-1, 1)).flatten() # 计算性能指标 mse_train = mean_squared_error(y_train, y_train_pred_original) rmse_train = np.sqrt(mse_train) r2_train = r2_score(y_train, y_train_pred_original) mse_test = mean_squared_error(y_test, y_test_pred_original) rmse_test = np.sqrt(mse_test) r2_test = r2_score(y_test, y_test_pred_original) print(f"最佳参数: {best_params}") print(f"训练集 MSE: {mse_train}, RMSE: {rmse_train}, R^2: {r2_train}") print(f"测试集 MSE: {mse_test}, RMSE: {rmse_test}, R^2: {r2_test}") # 将结果保存到DataFrame results_df = pd.DataFrame({ '数据集': ['训练集', '测试集'], 'MSE': [mse_train, mse_test], 'RMSE': [rmse_train, rmse_test], 'R²': [r2_train, r2_test] }) # 保存到Excel文件（推荐使用） results_df.to_excel('支持向量机结果/集胞藻-Cd模型评估结果.xlsx', index=False)```根据上述代码生成一个遍历数据文件的代码，分别输出结果，并再最后输出一个汇总结果的文件
03-08
X_train_scaled = scaler_X.fit_transform(X_train) X_test_scaled = scaler_X.transform(X_test) # 目标归一化 scaler_y = MinMaxScaler() y_train_scaled = scaler_y.fit_transform(y_train.values.reshape...
% ========== 训练阶段：统一预处理流程 ========== clc; clear; % ========== 参数配置 ========== test_dir = 'F:\dataset\test'; val_dir = 'F:\dataset\val'; save_dir = 'F:\results'; rows = 480; cols = 480; bands = 300; sg_params.window = 11; sg_params.order = 3; % ========== 加载训练数据 ========== roi_dir = 'F:\dataset_roi_masks'; [X_train, Y_train] = load_all_rois(roi_dir); if iscell(X_train), X_train = cell2mat(X_train); end X_train = double(X_train); % SG 滤波 X_train = apply_sg_filter(X_train, sg_params.window, sg_params.order); % 去除NaN nan_rows = any(isnan(X_train), 2); X_train(nan_rows, :) = []; Y_train(nan_rows, :) = []; % PCA：训练阶段只 fit 一次 [coeff, ~, latent, ~, explained, mu] = pca(X_train); cum_explained = cumsum(explained); num_pc = find(cum_explained >= 95, 1); X_train_pca = (X_train - mu) * coeff(:, 1:num_pc); num_pc = min(num_pc, 10); pca_coeff = coeff; pca_mu = mu; fprintf('选择主成分数 num_pc = %d，累计贡献率 = %.2f%%\n', num_pc, cum_explained(num_pc)); % 类别样本权重（平衡） num_0 = sum(Y_train == 0); num_1 = sum(Y_train == 1); weight_0 = length(Y_train) / (2 * num_0); weight_1 = length(Y_train) / (2 * num_1); sample_weights = zeros(size(Y_train)); sample_weights(Y_train == 0) = weight_0; sample_weights(Y_train == 1) = weight_1; % ========== SVM 训练 ========== C = 0.1; Gamma = 0.1; SVMModel = fitcsvm(X_train_pca, Y_train, ... 'KernelFunction', 'rbf', ... 'BoxConstraint', C, ... 'KernelScale', Gamma, ... 'Weights', sample_weights, ... 'Standardize', true, ... 'ClassNames', [0; 1]); fprintf('训练完成，支持向量数量: %d\n', size(SVMModel.SupportVectors, 1)); % 保存模型与参数 save('SVMModel.mat', 'SVMModel', 'pca_coeff', 'pca_mu', 'sg_params', 'num_pc'); % ========== 批量预测 ========== predict_folder(test_dir, SVMModel, rows, cols, bands, ... sg_params, pca_coeff, pca_mu, num_pc, save_dir, 'test_'); predict_folder(val_dir, SVMModel, rows, cols, bands, ... sg_params, pca_coeff, pca_mu, num_pc, save_dir, 'val_'); 分析代码
最新发布
06-25
X_train, X_val, y_train, y_val = train_test_split( X, y, test_size=0.2, stratify=y ) # 训练SVM self.svm.fit(X_train, y_train) # 验证集评估 y_pred = self.svm.predict(X_val) print("验证集...
tensorflow中model.fit()用法
yunfeather的博客
05-31 8万+
tensorflow中model.fit()用法 model.fit()方法用于执行训练过程 model.fit(训练集的输入特征， 训练集的标签， batch_size,#每一个batch的大小 epochs, #迭代次数 validation_data = (测试集的输入特征，测试集的标签）， val...
Python机器学习02——线性回归
weixin_46277779的博客
06-19 2388
Python线性回归，statsmodel接口，或者sklearn接口
选择三个机器学习算法，代码实现 ，并选择一个数据集进行性能分析
Aurora_m的博客
11-29 1132
鸢尾花数据集（Iris Dataset）是一个经典的分类数据集，包含了三种不同种类的鸢尾花（Setosa、Versicolour、Virginica）的萼片和花瓣的长度和宽度。鸢尾花数据集包含了150个样本，每个样本包含4个特征：萼片长度、萼片宽度、花瓣长度和花瓣宽度。朴素贝叶斯分类器是一种基于概率论的监督学习算法，适用于分类问题。从性能指标上看，朴素贝叶斯分类器和决策树分类器的分类效果较好，而线性回归的预测效果较差。下面分别计算了线性回归、朴素贝叶斯分类器和决策树分类器的性能指标。
Keras model.fit()参数详解
花木兰
10-12 7万+
fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0, steps_per_ep...
线性回归 - 机器学习多元线性回归 - 一步一步详解 - Python代码实现
黄饱饱
07-19 6万+
目录 数据导入 单变量线性回归 绘制散点图 相关系数R 拆分训练集和测试集 多变量线性回归 数据检验（判断是否可以做线性回归） 训练线性回归模型 先甩几个典型的线性回归的模型，帮助大家捡起那些年被忘记的数学。 ● 单变量线性回归：h(x)=theta0 + theta1* x 1 ● 多变量线性回归：h(x)=theta0 + theta1* x 1 + theta2* x...
tensorflow中model.compile()用法
热门推荐
yunfeather的博客
05-31 12万+
tensorflow中model.compile()用法 model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准 model.compile(optimizer =优化器， loss =损失函数， metrics = ["准确率”]) 其中： optimizer可以是字符串形式给出的优化器名字，也可以是函数形式，使用函数形式可以设置学习率、动...
机器学习 - 决策树
开码河粉
01-26 1179
1.DecisionTree决策树算法及参数详解+实例 https://blog.csdn.net/qq_41577045/article/details/79844709 1.决策树算法及过度拟合 决策树两大关键点：属性如何分割(分支算法) 及 过度拟合解决办法 (1)算法 决策树归纳的基本算法是贪心算法，在每一步选择中都采取在当前状态下最好的选择，在其生成过程中，分割方法即属性选择度量是关键。通过属性选择度量，选择出最好的将样本分类的属性。 根据分割方法的不同，决策树可以分为...
机器学习__03__机器学习之线性回归
勇敢牛牛，不怕困难！
09-08 1132
本章详细介绍了线性回归模型的基本原理和过程，展示了线性回归模型的scikit-leam实现，包括：**普通线性回归、基于L1正则化的线性回归、基于L2正则化的岭回归、基于L1和L2正则化融合的ElasticNet回归四种**，最后基于ElasticNetRegression在波士顿房价数据集上进行了实践展示，从结果来看，ElasticNet回归对房价的预测值和房价的真实值基本吻合。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值