【机器学习】.fit_transform()跟.transform()的区别

在scikit-learn中，.fit_transform()和.transform()是特征转换类（如OneHotEncoder、StandardScaler等）的两个常用方法，它们在处理数据时有不同的作用和用途：

1. .fit_transform(X):

   • 这个方法结合了拟合（fit）和转换（transform）两个步骤。
   • 首先，它使用数据集X来拟合（训练）转换器，学习转换器所需的参数，例如OneHotEncoder需要知道所有可能的类别。
   • 然后，它立即对相同的数据集X应用转换。
   • 通常在训练数据上使用，以确保转换器学习到的参数来自于训练数据，然后可以应用于测试数据或其他未见过的数据。

2. .transform(X):

   • 这个方法只执行转换操作，不对转换器进行拟合。
   • 它使用已经拟合好的转换器（即已经学习到的参数）来转换数据集X。
   • 通常在测试数据或新的、未见过的数据上使用，因为你需要使用训练数据拟合得到的参数来保持一致性。

区别和使用场景：

• 数据拟合：

  • .fit_transform(X)：既拟合数据，也转换数据。
  • .transform(X)：只转换数据，不拟合。

• 参数学习：

  • .fit_transform(X)：在学习参数的同时转换数据，参数是针对训练数据集X学习的。
  • .transform(X)：使用已经学习到的参数来转换数据，参数不是从这个数据集X学习的。

• 使用顺序：

  • .fit_transform(X)：通常在训练阶段使用一次，以确保模型参数与训练数据一致。
  • .transform(X)：在训练阶段之后使用，用于转换训练数据以外的其他数据。

• 数据应用：

  • .fit_transform(X)：应用于训练数据，以确保模型参数与训练数据相匹配。
  • .transform(X)：应用于训练数据之外的数据，如验证集、测试集或实时数据。

示例：

from sklearn.preprocessing import OneHotEncoder

# 创建转换器实例
encoder