10、数据预处理：转换数据实战

数据预处理：转换数据实战

在机器学习项目中，数据预处理是构建有效模型的关键步骤。它就像是为一场精彩演出搭建舞台，舞台搭建得好，演出才能顺利进行。接下来，我们将深入探讨数据预处理中的数据转换环节，包括处理位置数据、修正类型不匹配、处理不良数据、创建派生列以及将非数值数据转换为数值数据等内容。

1. 位置数据处理

在处理位置数据时，我们需要结合领域知识来进行数据转换。例如，在处理多伦多有轨电车延迟数据集时，我们发现“carhouse”、“garage”和“barn”与“yard”含义相同，因此可以将它们替换为“yard”。这一过程需要对多伦多的地理和有轨电车网络有一定的了解，这充分体现了领域知识在机器学习项目中的重要性。

通过一系列的数据清理操作，如将所有值转换为小写、去除重复值以及确保街道交叉点名称的顺序一致，我们成功地将不同位置值的数量从 15000 多个减少到了 10074 个，减少了 36%。这不仅使训练数据更准确地反映现实世界，还能为我们节省成本。

# 示例代码：统一街道交叉点名称顺序
df['Location'] = df['Location'].apply(lambda x:order_location(x))
print("Location values post cleanup:",df['Location'].nunique())

为了进一步提高位置数据的准确性，我们可以将自由文本位置值替换为经纬度。这样做的优点是位置信息更加精确，输出值为数值类型，可以直接用于训练深度学习模型。然而，这种方法也存在一些缺点，例如部分特定于有轨电车网络的位置无法解