python进行数据预处理的4个重要步骤

在数据科学项目中，数据预处理是最重要的事情之一。

如果有正确的数据预处理和特征工程，该模型更有可能与数据未得到很好预处理的模型相比，产生更好的结果。

数据预处理主要有4个重要步骤。

• 拆分训练集和测试集
• 处理缺失值
• 处理分类特征
• 进行标准化处理

拆分训练集和测试集

训练集和测试集拆分是机器学习中的重要步骤之一。

这非常重要，因为你的模型需要在部署之前进行评估。

训练集和测试集拆分背后的主要思想是将原始数据集转换为两部分

• 训练集
• 测试集

其中训练集由训练数据和训练标签组成，测试集由测试数据和测试标签组成。

最简单的方法是使用 scikit-learn 的 一个内置函数 train_test_split。

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2)

在这里，我们在 train_test_split 中传入了 X 和 y 作为参数 ，它将 X 和 y 进行拆分，其中训练集占 80%，测试集占 20% 。

处理缺失值

你可能听说过一个著名的机器学习短语，它是

Garbage in Garbage out

如果你的数据集充满了缺失值，那么你的模型效果也不好。

因此，处理此类缺失值很重要。

让我们用一个虚拟数据集来看看我们如何解决这个问题。

首先查看一下数据集中的缺失值。

df.isna().sum()

我们可以看到数据集中有缺失值。

填充缺失值的一种方法是用该列的平均值填充。

例如，我们可以用该列所有学生的平均值来填充 Final 列的缺失值。

为此，我们可以使用 sklearn.impute 中的 SimpleImputer 。

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(fill_value=np.nan, startegy='mean')
X = imputer.fit_transform(df)

这将使用 该列的 平均值 填充数据框 df 中的所有缺失值 。

可以使用 fit_transform 函数来做到这一点。

X = pd.DataFrame(X, columns=df.columns)
print(X)

现在，可以看到所有缺失值都用均值进行了填充。