“数据挖掘“(Data Mining)又被称为“数据中的知识发现”(KDD),顾名思义,也就是通过数据清理、数据集成、数据选择、数据变换、数据挖掘、模式评估、知识表示等一些列步骤,对数据进行分类、聚类,发现其中的关联关系或者离群点,来发现新的知识。
1、数据类型
上世纪70-80年代,“数据库”技术的发展而产生的数据库管理系统,方便用户进行关系型的数据管理,用户可以进行SQL查询等数据操作,关系型数据库实际上就是二维表;然而对于大型的跨地域公司,要汇总各个地方数据库却不容易,于是就产生了“数据仓库”,数据仓库将数据库的数据进行整合,下钻(drill down)和上卷(roll up)操作可以得到详细信息和汇总信息,由此诞生了高级数据库系统和高级数据分析, 数据仓库可以看做是数据立方体(Data Cube)。20世纪90年代,万维网迅速发展,各式各类的数据类型出现,时间序列数据、超文本和多媒体数据(图片、视频、声音),空间数据(地图),网状数据(社会关系网络)等各种复杂的非结构化数据,总之,可以大致的将数据挖掘的数据类型分为以下几类:
(1)数据库 数据
数据库系统,又称为数据库管理系统(DBMS),是一种关系型数据库,又不同的表组成,每一个表有一个唯一的“关键字标识”来表示一个对象,每个对象有又若干属性,每个对象及其属性构成一个“元组”。
表1.1 一个二维表
对于一个学生关系表,学号是唯一的“关键字标识”,姓名、性别、院系、年级都是属性,每一行都是一个“元组”。
(2)数据仓库 数据