【大数据入门】第三章·数据预处理

🌈 个人主页：十二月的猫-优快云博客
🔥 系列专栏： 🏀《AI认知筑基三十讲》_十二月的猫的博客-优快云博客

💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光

目录

1. 前言

2. 为什么要进行数据预处理

2.1 脏数据

3. 数据预处理分类

4. 数据清理 

4.1 数据填充

4.1.1 数据缺失的类型

1. 完全随机缺失（Missing Completely at Random, MCAR）

2. 随机缺失（Missing at Random, MAR）

3. 非随机缺失（Missing Not at Random, MNAR）

4.1.2 数据填充方法

4.2 处理噪声

4.2.1 分箱

4.2.2 回归

4.2.3 聚类

5. 数据集成

5.1 冗余检测 

5.1.1 无序冗余检测

5.1.1.1 无序冗余属性检测

5.1.1.2 无序冗余数据检测

2.1.2.1 数据距离

2.1.2.2 数据相似度 

5.1.2 有序冗余检测

 5.1.2.1 斯皮尔曼相关系数

5.1.2.2 NDCG（归一化折损累计收益）

5.2 冗余删除

6. 数据规约

6.1 为什么要数据规约

6.2 什么是数据规约

6.3 数据规约的类型（只要知道PCA和特征子集选择）

减小维度

数值规约

数据立方体聚合

数据离散化

数据压缩

数据预处理

6.4 维度规约

6.4.1 主成分分析

​6.4.2 特征子集选择（重在选择）

6.5 数值规约

7. 数据变换

7.1 数据规范化（量纲处理）

​编辑 7.2 数据离散化

3.2.1 非监督离散化

3.2.2 监督离散化