【数据可视化】Data Reduction和加利福尼亚的房价数据集数据可视化以及Kettle的初步介绍

一.数据归约Data Reduction

• 对海量数据进行复杂的数据分析和机器学习将需要很长时间，使得这种分析不现实或不可行。
• 数据归约技术可以用来得到数据集的归约表示，它小得多，但仍接近保持原数据的完整性。
• 对归约后的数据集计算将更有效，并产生相同（或几乎相同）的结果。

1.1数据归约

数据归约策略： (1)数据立方聚集：对数据立方做聚集操作

(2)维度归约：删除不重要的属性

(3)数值归约： 一用规模较小的数据表示、替换或估计原始数据

(4)数据压缩 (5)离散化和概念分层(concept hierarchy)-属性的原始数值用区间值或较高层的概念替换

1.2 概念分层

1.3数据立方体聚集

• 数据立方体存储多维聚集信息,提供对预计算的汇总数据进行快速访问。 如:立方体内存储季度销售额,若对年销售额感兴趣,可对数据执行聚集操作,例如sum()等。