通俗理解 fit,transform,fit_transform，以及训练集用fit_transform且测试集用transform的原因

原创 已于 2022-02-24 22:58:35 修改 · 2.4k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

于 2021-06-17 21:51:04 首次发布
本文介绍了机器学习中fit, transform和fit_transform的概念和区别。fit用于计算训练集的参数，transform则使用这些参数对数据进行转换。fit_transform是两者的组合，适用于训练数据。归一化作为预处理步骤，使得数值特征具有可比性。关键在于，由于测试集应保持原始分布，因此只对测试集应用transform，避免重新计算参数。" 104873409,8763734,C# 中的命名空间、类型与继承详解,"['C#编程', '面向对象', '内存管理', '字符串处理']

目录

通俗解释

归一化（Normalization）

为什么只对训练集做fit_transform，对测试集只做transform？

最近刚接触机器学习，在kaggle的教程上跟着学习了下，对这几个知识点正好不太熟悉，查完一系列文章后做个简单的总结。 

通俗解释

fit(): Method calculates the parameters μ and σ and saves them as internal objects.

解释：简单来说，就是求得训练集X的均值，方差，最大值，最小值，这些训练集X固有的属性。

transform(): Method using these calculated parameters apply the transformation to a particular dataset.

解释：在fit的基础上，进行标准化，降维，归一化等操作（看具体用的是哪个工具，如PCA，StandardScaler等）。作用是通过找中心和缩放等实现标准化

fit_transform(): joins the fit() and transform() method for transformation of dataset.

解释：fit_transform是fit和transform的组合，既包括了训练又包含了转换。对部分数据先拟合fit，找到该part的整体指标，如均值、方差、最大值最小值等等（根据具体转换的目的），然后对该trainData进行转换transform，从而实现数据的标准化、归一化等等

最低0.47元/天 解锁文章
dbf666
关注
【零基础学机器学习 11】 fit、transform、fit_transform 最佳指南与代码实战
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-10 547
sklearn中的StandardScaler是一个用于数据标准化的类。标准化是指将数据按照特定的方式进行缩放，使得数据的均值为0，方差为1。StandardScaler通过计算每个特征的均值和标准差，然后对数据进行中心化和缩放，从而实现标准化的效果。
为什么训练集用fit_transform()而测试集用transform()及sklearn.feature_extraction.text.CountVectorizer API详解
studyvcmfc的专栏
04-20 1705
https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html#sklearn.feature_extraction.text.CountVectorizer
sklearn为什么只对trains数据fit_transform,对测试集只transform???
qq_33837905的博客
02-20 367
x_train=pca.fit_transfrom(x_train) x_test=pca.transfrom(x_test) 首先: 答案是：为了避免过拟合。 测试集自己训练自己 量体裁衣可还行……NO~
Sklearn 里面的fit transform fit_transform的区别（为什么训练集用fit_transform()而测试集用transform()？）
yyhhlancelot的博客
12-19 1万+
在国内网上找了很多资料，感觉都说的不明不白不清不楚，很多博客都是根据原始document来进行阐述，使用的时候也是按照格式使用，最后去外网感觉终于有点搞明白了来头。 参考： https://stackoverflow.com/questions/23838056/what-is-the-difference-between-transform-and-fit-transform-in-skle...
fit_transform,fit,transform区别和作用详解！！！！！！
热门推荐
欢迎光临啊噗不是阿婆主的酒馆
10-08 17万+
1. 写在前面 fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来这么个函数名，仅仅是为了写代码方便。所以会发现transform（）和fit_transform（）的运行结果是一样的。 注意：运行结果一模一样不代表这两个函数可以互相替换，绝对不可以！！！ transform函数是一定可以替换为fit_transform函数的，fit_transform函数不能替换为...
fit, transform, fit_transform
2401_83026894的博客
10-18 1626
在机器学习和数据处理中，fittransform和是三个常用的术语，它们分别代表了不同的操作。fitfitfittransformtransformtransformfittransform总结来说，fit方法用于训练模型，transform方法用于将模型应用于数据，而方法则是先训练模型，然后立即将模型应用于训练数据。在实际应用中，选择哪个方法取决于你的具体需求，比如是否需要在训练数据上进行转换，或者是否需要在新数据上进行预测。在机器学习中，fittransform和。
支持向量机通俗导论（理解SVM的三层境界）Latex版.zip_SVM_python_支持向量机
09-20
# 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42) # 创建SVM模型，使用RBF核 clf = svm.SVC(kernel='rbf', C=1.0, gamma='auto') # 拟合...
Python训练集是什么有什么用
04-28
此外，代码示例会有帮助，比如加载数据、划分训练集、训练模型的步骤，这样用户能更直观地理解。 还要考虑用户可能的后续问题，比如过拟合、数据划分比例、数据增强等，所以在相关问题里列出这些，引导他们深入探索...
import pandas as pd import numpy as np import torch from sklearn.preprocessing import StandardScaler from pyDOE import lhs def load_battery_data(file_path, input_dim=7, n_train=1000, n_test=100): """ 加载电池RUL数据，使用LHS方法抽取训练和测试样本（提取第2-8列作为特征） """ # 读取CSV文件 data = pd.read_csv(file_path) # 提取第2列到第8列作为特征（索引1到7），第9列作为RUL标签 features = data.iloc[:, 1:8].values # 第二列到第八列 target = data.iloc[:, 8].values # 第九列RUL # 标准化特征 scaler = StandardScaler() features_scaled = scaler.fit_transform(features) # 使用LHS方法生成样本索引 n_samples = len(features) sample_indices = lhs(n_samples, samples=n_train + n_test) sample_indices = np.round(sample_indices * (n_samples - 1)).astype(int) # 确保索引唯一 sample_indices = np.unique(sample_indices) if len(sample_indices) < n_train + n_test: print("警告: LHS生成了重复索引，正在重新生成...") return load_battery_data(file_path, input_dim, n_train, n_test) # 划分训练和测试索引 train_indices = sample_indices[:n_train] test_indices = sample_indices[n_train:n_train + n_test] # 提取训练和测试数据 X_train = torch.tensor(features_scaled[train_indices], dtype=torch.float32) y_train = torch.tensor(target[train_indices], dtype=torch.float32).squeeze() X_test = torch.tensor(features_scaled[test_indices], dtype=torch.float32) y_test = torch.tensor(target[test_indices], dtype=torch.float32).squeeze() return X_train, y_train, X_test, y_test逐行逐句解释代码，并用小白能懂的话解释问题本质
最新发布
05-28
最后，用通俗的话总结整个代码的作用：准备电池寿命数据，通过科学方法抽样，标准化处理，然后分成训练集和测试集供机器学习模型使用。这样模型能更准确地预测电池剩余寿命，帮助维护决策。</think>### 逐行代码解释...
fit、transform、fit_transform
Cosophia的博客
01-27 523
fit(): 求某一训练集的均值，方差，最大值，最小值,这些训练集固有的属性。transform(): 是在fit的基础上之上对训练集的数据进行标准化，降维，归一化等操作。fit_transform(): fit_transform是fit和transform的组合，既包括了训练又包含了转换。transform()和fit_transform()二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放(映射)到某个固定区间，归一化，正则化等）
在使用标准化 (StandardScaler()) 时，为什么要在训练集上使用fit_transform()，但是在测试集上使用transform()?
q2972112的博客
12-25 6303
为什么需要在训练集上得出参数并重新使用它们来缩放 (scale) 测试集？这篇文章是讨论在使用标准化 (StandardScaler()) 时，为什么要在训练集上 (X_train) 使用fit_transform()，但是在测试集 (X_test) 上使用transform()?
sklearn 数据处理 fit、transform、fit_transform 的区别
qq_15138049的博客
04-02 1494
fit、transform 是什么？ MinMaxScaler 的 fit 函数的官方定义： Compute the minimum and maximum to be used for later scaling. 翻译一下：计算用于进行特征缩放的最大值、最小值 也就是说，通过 fit 函数可以先对需要归一化的数据集进行最大、最小值的计算，至于说最终归一化的结果是多少，对不起，fit 函数到此为止了。 所以，在 MinMaxScaler 的 fit 之后可以查看数据集中的最大、最小值 ...
fit_transform,fit,transform区别和作用详解
weixin_42454594的博客
03-16 650
https://blog.youkuaiyun.com/weixin_38278334/article/details/82971752
数据预处理——fit()函数，transform()函数，fit_transform()函数
weixin_42422540的博客
10-28 1万+
fit()函数，transform()函数，fit_transform()函数
数据预处理之fit_transform,fit,transform区别和作用
Goldxwang的博客
07-11 1450
fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来fit_transform这个函数名，仅仅是为了写代码方便，会高效一点。 sklearn里的封装好的各种算法使用前都要fit，fit相对于整个代码而言，为后续API服务。fit之后，然后调用各种API方法，transform只是其中一个API方法，所以当你调用transform之外的方法，也必须要先fit。 fit...
fit，fit_transform，transform的区别
hellocsz的博客
05-07 1390
在使用PCA和NFC中有三个函数fit，fit_transform，transform区分不清各自的功能。通过测试，勉强了解各自的不同，在这里做一些笔记。 1.fit_transform是fit和transform的混合，相当于先调用fit再调用transform。 2.transform函数必须在fit函数之后调用否则会报错, (transform变换的是fit后的数据) tranfor...
深入理解 Scikit-Learn 中的 fit, transform 和 fit_transform
jjqhj的博客
08-04 3001
## fit- 作用：计算并存储模型参数（如均值、标准差）。- 适用对象：估计器、转换器。- 主要使用场景：参数计算。- 作用：使用 `fit` 方法计算得到的参数对数据进行转换。- 适用对象：转换器。- 主要使用场景：数据转换。- 作用：先 `fit`（计算并存储参数），再 `transform`（转换数据）。- 适用对象：转换器。- 主要使用场景：数据预处理时一步完成参数计算和数据转换。
fit、transform、fit_transform的区别和联系
艰难困苦，玉汝于成。
09-20 2205
fit、transform、fit_transform的区别和联系一、fit、transform、fit_transform的区别和联系？二、注意事项 一、fit、transform、fit_transform的区别和联系？ 1、fit(): fit的作用就是求得训练集的均值、方差、最大值、最小值等。 2、transform(): transform的作用是在fit的基础上，进行标准化，降维，归一化等操作。 3、fit_transform(): 是fit和transform的结合，既包括了训练又包含了转换。
fit、transform、fit_transform的区别，为什么训练集用 fit_transform ， 测试集用 transform
wwyy2018的博客
05-07 2277
具体解释，在数据预处理中的应用 1、只涉及一组数据 fit(data) 对数据进行拟合，获得了数据的均值，最大最小，标准差等属性值 transform（data） 利用 fit(data) 获取到的属性对数据做预处理，如标准化，归一化处理 from sklearn.decomposition import PCA # 设置主成分为2 pca=PCA(n_components=2) pc...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值