分类算法之一——数据预处理

现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提前数据挖掘的质量产生了数据预处理技术。

　　数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。

　　一、数据清理

　　首先是处理空缺值，如：要分析某市场的销售和顾客数据，但顾客的income项没有记录，如何处理这类问题

　　1、忽略元组:忽略整条记录

　　2、人工填写空缺值：根据其它资料手工填写

　　3、使用一个全局常量填充空缺值：使所有income项记录都以一个常量（如：2000）填充

　　4、使用属性的平均值填充空缺值：取得其它记录中该属性的平均值进行填充

　　5、使用与给定元组属同一类的所有样本的平均值：与上面相类似

　　6、使用最可能的值填充空缺值：与上面相类似

　　然后是处理噪声数据，

　　1、分箱：通过考察周围的值来平滑存储数据的值，有两种方法：按箱平均值平滑，箱中每一个值被箱中的平均值替换；按箱边界平滑，箱中的最大和最小值被视为箱边界，箱中的每一个值被最近的边界值替换

　　2、聚类：简单来说就是取得相对比较集中的值，相对分散的值忽略不计的方法

　　3、回归：通过一个合适的函数（如回归函数）来平滑数据

　　4、计算机和人工检查结合：即手工处理

　　最后是处理不一致数据

　　主要方法是参照其它资料，如纸上记录，人工的加以更正

 

　　二、数据集成

　　即由多个数据存储合并数据。

 

　　三、数据变换

　　将数据转换成适用于数据挖掘的形式。

 

　　四、数据归约

　　数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归约前结果相同或几乎相同。

 

　　数据预处理是目前数据挖掘一个热门的研究方面，毕竟这是由数据预处理的产生背景所决定的－－现实世界中的数据几乎都脏数据。