18、数据准备与可视化：从基础到应用

数据准备与可视化：从基础到应用

1. 为何需要数据准备

在进行数据准备时，很多人会问为什么要做这件事。对于刚涉足该领域的人来说，收集数据并尽可能将其整理有序，然后构建自己的模型，似乎是最佳步骤。然而，数据准备对这一过程至关重要，原因如下：
- 代码和名称存在差异 ：所处理的数据集中可能存在代码或名称的不一致。
- 存在异常值和错误 ：可能包含大量异常值或错误，影响结果的准确性。
- 缺乏关键属性 ：缺乏有助于分析的感兴趣的属性。
- 数据类型的差异 ：想要探索的数据通常是定量的，而非定性的，且高质量的数据往往更为重要。

这些问题都可能严重影响正在构建的模型，导致结果或预测不够准确。花时间准备数据，使其干净且可用，能解决这些问题，确保数据随时可用于分析。

2. 数据准备的步骤

数据挖掘中的数据准备需要以下步骤：

2.1 数据清洗

这是处理和准备数据的首要且重要的步骤。需要检查并纠正不一致的数据，填充缺失值，平滑异常值以及处理那些产生过多噪音并对分析产生负面影响的数据。可能会遇到数据集中许多行的感兴趣属性没有值，或者存在不一致的数据、重复记录或其他随机错误。为了得到一个能提供真实可靠预测的模型，需要尽快解决这些数据质量问题。

处理缺失值的方法有多种，具体选择取决于需求，可以忽略元组，也可以用属性的均值填充缺失值。这可以借助全局常量或一些 Python 机器学习技术，如贝叶斯公式或决策树。处理噪音数据时，可以手