11、数据预处理与数据仓库：概念、技术与应用

数据预处理与数据仓库：概念、技术与应用

在当今的数据驱动时代，数据预处理和数据仓库技术对于有效的数据分析和决策制定至关重要。现实世界中的数据往往存在不完整、嘈杂和不一致的问题，因此数据预处理成为数据仓库和数据挖掘的关键环节。同时，数据仓库为多维数据的交互式分析提供了强大的工具，有助于数据的概括和挖掘。

数据预处理

数据预处理涵盖了数据清洗、数据集成、数据转换和数据缩减等多个方面。描述性数据汇总为数据预处理提供了分析基础，其中包括用于衡量数据中心趋势的均值、加权均值、中位数和众数，以及用于衡量数据离散程度的范围、四分位数、四分位间距、方差和标准差等基本统计量。图形表示，如直方图、箱线图、分位数图、分位数 - 分位数图、散点图和散点图矩阵，有助于直观检查数据，对数据预处理和挖掘非常有用。

• 数据清洗 ：旨在填充缺失值、平滑噪声并识别异常值，同时纠正数据中的不一致性。通常作为一个迭代的两步过程进行，包括差异检测和数据转换。
• 数据集成 ：将来自多个源的数据组合成一个连贯的数据存储。元数据、相关性分析、数据冲突检测和语义异质性的解决有助于实现平滑的数据集成。
• 数据转换 ：将数据转换为适合挖掘的形式。例如，属性数据可以进行归一化处理，使其落在一个较小的范围内，如 0.0 到 1.0。
• 数据缩减 ：使用数据立方体聚合、属性子集选择、降维、数量缩减和离散化等技术，在最小化信息损失的情况下获得数据的缩减表示。

数据离散化和数值数据概