8、数据准备：探索与清理数据

数据准备：探索与清理数据

在处理大型数据集时，数据的准备工作至关重要。本文将详细介绍如何探索和清理数据集，以确保数据的质量和可用性，为后续的机器学习模型训练做好准备。

1. 数据探索

在将完整的输入数据集导入到 Pandas 数据框并使其在不同会话之间持久化之后，我们需要探索数据以了解其特征。通过 Python 提供的可视化工具，我们可以发现数据中的模式和异常，为下游流程做出更好的选择。

1.1 使用 describe() 方法

首先，我们对原始数据框使用 describe() 方法，这可以帮助我们快速了解数据的基本统计信息。在这个过程中，我们发现了一些问题：
- Route 和 Vehicle 被错误地解释为连续变量，我们需要纠正这两列的数据类型。
- 最大延迟为 23 小时，最大间隔为 72 小时，这两个值看起来不太合理，需要检查记录以确认其正确性。
- 平均延迟为 12 分钟，平均间隔为 18 分钟。

1.2 使用 sample() 方法进行随机抽样

通过 sample() 方法对数据集进行随机抽样，我们可以得到一个小样本数据，从中可以发现一些有趣的信息：
- 一些事件的延迟和间隔为零，这与我们预期的记录延迟的数据集不符，需要审查这些记录以确定零延迟和间隔是有意为之还是错误。
- Location 值的连接词不一致，如 at