Data Mining 概念

 

数据挖掘概念：

            数据挖掘是在大型数据库中、自动的发现有用信息的过程。

            然、

            这个有用只是一个感性的东西。比如我们从表中索引一行数据、这个算不上数据挖掘。因为它依赖的是数据的明显特征。

数据挖掘基本步骤：

                      

第一步：

        预处理、把没有加工的数据转换为合适的数据格式。

                 1、融合来自多个数据源的数据。

                 2、清洗数据以消除噪声和重复的观测值。

                 3、选择与当前任务相关的记录与特征。

                 由于数据收集与存储的方式多种多样、数据预处理可能是最费时的一步。

第二步：

         数据挖掘、

                    1、要解决可伸缩性（要求算法不只是适用于小数据量、也要适应海量的数据量）

                    2、高维性（要求算法适应高特征性-----如有几千个属性）

                    3、杂种数据与复杂数据（要求算法适应复杂的数据对象）

                    4、数据所有权与分布

                    5、非传统分析(不是通过假话演绎的方式)

 

第三步：

         后处理、

 

-------------------------------------------------------------------------------------------------------------------------------------------------------

数据挖掘利用了数学中的：

                               统计、抽样、估计、假验证。

数据挖掘利用了人工智能中的：

                                     模式识别、机器学习的搜索算法。