《大数据机器学习实践探索》 ---- 特征工程：基于spark 的缺失值处理

---

缺失值的定义

缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。

Little和Rubin(1987)把数据缺失的机制分为三类：

1）完全随机缺失(missing completely at random, MCAR)：所缺失的数据是完全随机的，缺失发生的概率既与已观察到的数据无关，也与未观察到的数据无关。这是一种比较理想的情况。

2）随机缺失(missing at random, MAR)：数据的缺失不是完全随机的。缺失数据发生的概率与所观察到的变量是有关的，而与未观察到的数据的特征是无关的。这是一个比较严重的问题，在这种情况下，我们需要进一步检查数据收集过程，并尝试了解数据为什么丢失。例如，如果在一项问卷调查中，大多数人没有回答某个问题，他们为什么这么做，是问题不清楚吗？

3）不可忽略的缺失(non-ignorable missing ,NIM)，亦称为非随机缺失(not missing at random, NMAR)，也有研究者将其称为MNAR(missing not at random)。缺失数据不仅依赖于其它变量，又依赖于变量本身，这种缺失即为不可忽略的缺失。

本文针对spark 机器学习过程中，针对数据框，dataframe dataset 中出现的缺失值处理方案，进行总结。

python 中的空值

内置常量 None
NoneType 类型的唯一值。 None 经常用于表示缺少值，当因为默认参数未传递给函数时。 给 None 赋值是非