21、数据深度剖析：从变量预测力到异常检测

数据深度剖析：从变量预测力到异常检测

在数据科学领域，准确评估变量的预测能力、检测数据中的异常情况以及理解数据结构对于构建有效的模型至关重要。本文将详细介绍如何测量变量的单变量预测能力、评估缺失值的随机性、分析数据结构以及进行异常检测。

1. 测量变量的单变量预测能力

为了评估单个变量的预测能力，通常会使用两到三个指标。这是因为仅使用一种技术可能会因对预测变量的特定分布存在偏差，而错过一些重要信息。

1.1 连续因变量

对于连续因变量，建议同时计算皮尔逊积矩相关系数和斯皮尔曼等级相关系数。
- 皮尔逊积矩相关系数 ：是标准的相关指标，但容易受到异常值和偏态数据的影响。
- 斯皮尔曼等级相关系数 ：对这些问题不敏感，也适用于有序但非连续的值。不过，对于具有相同或非常相似值的观测值集群，可能会产生偏差。

1.2 二元结果

对于二元结果，通常考虑基尼系数（Gini）和信息价值（IV）。
- 基尼系数 ：仅适用于连续和有序变量，并且假设每个变量与结果具有单调关系。如果高度预测变量与结果之间的关系呈完美的U形，基尼系数可能为零。
- 信息价值（IV） ：可以处理分类值和非单调关系，并且有方便的解释规则。IV在0.3到0.5之间被认为是强预测因子，而弱预测因子的IV在0.02到0.1之间。值高于0.5通常被认为可疑。

IV的计算需要进行分桶，并且每个桶至少包含每种结果的一个观测值。为了有效评估大量变量，IV通常基于四