探索多维数据极端值处理方法

背景介绍

我们知道，在各种数据分析方法中，除了部分方法本身对数据值不敏感外，离群值、极端值对于分析结果都是具有影响的。这种影响尤其体现在需要对数据具体的值进行运算的方法中，比如回归类型的问题。极端值出现频率过高，极端值过于极端，都有可能造成分析结果的严重偏误，在探索数据之间关系和规律的过程中，这种极端值造成了很大困扰。

而金融数据分析中，无论是金融理论在实践分析中的应用，比如尝试使用CAPM，Fama-Franch因子模型对现实经济标的进行分析，还是在量化决策过程中应用模型进行择时或品种选择，都离不开对原始数据的处理和运算。对于数据在这些领域的应用，模型能否给出精准结果至关重要，前者决定着学术观点是否能被现实情况有力支撑，后者则直接决定了投资行为是否能最大化的产生效益。虽然保证模型结果的精确性是一个多步骤的复杂过程，但一定离不开对原始数据的维护。在这个前提下，对待极端值的态度和处理方法也就成了需要不断探索的问题。

对于极端数据，在量化领域有一些常用的方法。比如3-Mad方法，3-Sigmod方法，这些方法在剔除离群的数据方面是简单而有效的，受到了广泛的认可。用沪深300股票的市值数据为例，沪深300的原始市值分布如下：

图1：沪深300成分股票市值分布

我们可以看到，沪深300成分股市值分布十分极端，存在部分市值规模过于庞大的股票，如果用这样的数据进行运算，得出的结果会收到极端值非常严重的影响，我们使用3-Mad方法进行剔除（如下图）。

图2：3-Mad方法剔除离群值

无论是从纵坐标的值域还是分布图像上都可以看出，3-Mad方法剔除后，筛选出的股票市值波动都被压缩到了一定的范畴内，并且对比原始分布，几乎完全剔除了特别极端的离群点。

我们再看一看以标准差为参照基准的3-Sigmod方法对离群点的剔除效果。

图3：3-Sigmod方法剔除离群值

对比原始分布的图例值域，可以看出极端离群的市值点被3-Sigmod方法过滤掉了，而对比3-Mad方法，3-Sigmod方法在剔除条件上更宽松