【HCIE-BigData-Data Mining课程笔记（一）】数据挖掘介绍

数据挖掘介绍

1.数据挖掘概述

1.1 数据挖掘典型应用场景

金融	数字政府	智慧园区	电商

1.2 数据挖掘概述

数据挖掘：通过对大量的数据进行分析，以发现和提取隐含在其中的具有价值的信息和知识的过程
大数据：无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
![大数据和数据挖掘关系](https://img-blog.csdnimg.cn/cb976641fd53476db6cbd76d9a6b0ab2.png#pic_center)

2.数据挖掘基本流程

2.1 数据挖掘模式分类
根据训练数据是否拥有标记的信息：

监督学习	半监督学习	非监督学习

根据应用角度：

分类：对现有的数据进行学习，得到一个目标函数或规则，把每个属性集x映射到预先定义的类标号y上
回归：通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来确定模型的各个参数。然后评价回归模型是否能很好地拟合实测数据
聚类：在没有数据标签的情况下还要对数据进行分类。将数据对象分为多个类或者簇。目标是：在同一个簇中的对象之间具有较高的相似度，而不同簇中对象差别较大。
神经网络：由众多的神经元可调的连接权值连接而成。具有大规模并行处理，分布式信息存储，良好的自组织自学习能力等特点
预处理：缺失值、重复值、单位不统一
特征选择：将高维空间的样本通过映射或者是变幻的方式转换到低纬空间，以达到降维的目的。通过特征选取，删选掉一些冗余的和不相关的特征来进一步降维

2.2 数据挖掘流程
CRISP-DM模型

Cross industry Standard Process跨行业数据挖掘标准流程。是当今数据挖掘业界通用流行的标准之一。它强调数据挖掘中的技术在商业中