本文探讨了数据分析中异常值的几种类型，包括单值异常、相关性异常和突发异常，并通过实例解释如何识别和处理这些异常值。提到了盖帽法作为处理异常值的一种常见策略，根据置信区间的标准差来决定删除范围。同时，区分了异常值与强影响点，并介绍了回归模型中判断强影响点的方法。最后，讨论了对异常值敏感的模型，如聚类分析和时间序列。
异常值的几种情况
数据分析中，异常值是比较难于界定的，一般数据异常值会有几种情况：
- 单值异常
如下图所示，某市场产品客群的样本分布中，年龄为0-5岁与150-200岁即可判定为异常，一般单值异常需结合实际的业务进行判断。
-
相关性异常
一般收入随年龄的增长呈现类线性趋势，如果出现下图情况，即低龄高收入者（如思聪）、高龄低收入者（如流浪老人），虽也可能属于正常情况，但还是要将其排除在建模样本外
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
