3.4数据预处理（三） - 数据规约（Data Reduction）

简介

在数据集成与清洗后，我们能够得到整合了多数据源同时数据质量完好的数据集。但是，集成与清洗无法改变数据集的规模。我们依然需通过技术手段降低数据规模，这就是数据规约（Data Reduction）。数据规约采用编码方案，能够通过小波变换或主成分分析有效的压缩原始数据，或者通过特征提取技术进行属性子集的选择或重造。

一句话解释版本：

数据规约就是缩小数据挖掘所需的数据集规模，具体方式有维度规约与数量规约。

 

数据分析与挖掘体系位置

数据规约是有数据预处理中的一个过程。所以其在数据分析与数据挖掘中的位置如下图所示。

 

数据规约方法

数据规约方法类似数据集的压缩，它通过维度的减少或者数据量的减少，来达到降低数据规模的目的，数据压缩（Data Compression）有无损与有损压缩。方法主要是下面两种：

• 维度规约（Dimensionality Reduction）：减少所需自变量的个数。代表方法为WT、PCA与FSS。
• 数量规约（Numerosity Reducton）：用较小的数据表示形式替换原始数据。代表方法为对数线性回归、聚类、抽样等。

 

维度规约（Dimensionality Reduction）

小波变换（Wavelet Transform，WT）

小波变换是由傅里叶变换（FFT）发展而来的。

首先，傅里叶变换是一种针对信号频率的分解转换方法。它通过把信号分解成正余弦函数，把时域信号转为频率信号。但是FF