python行业中性_第十期：去极值、标准化、中性化，数据预处理三步走

摘要：

量化研究就像烹饪美食，不同类型的数据好比各种食材，在入锅之前都需要洗菜、择菜，而对数据的洗择过程称之为数据预处理。根据不同类型的数据有不同的数据预处理方法，其中，针对因子研究，最常用的预处理方法就是：去极值、标准化和中心化。

本期将分别对上述三种常用的因子预处理方法的含义进行介绍，并使用优矿数据预处理函数对市盈率因子进行预处理。

一、去极值

为啥要去极值？

顾名思义，去极值就是排除一些极端值的干扰，为什么要排除极端值呢？为更好的帮助大家理解，本期邀请了著名的灵魂画手：

第一幅图是去极值的情况：对X与Y进行线性拟合，就可以清晰的发现X和Y之间的线性规律

第二幅图是保留极值的情况：图上部黄圈内是两个明显的极端值，如果未去极值直接进行线性回归，拟合出来的橘色线2明显无法很好的解释X和Y之间的规律。

因此，只有排除极端值的干扰，才能更好的发现数据之间的规律。

如何去极值呢？

第一步：找出哪些是极端值

第二步：处理这些极端值

第一步：

极端值的定义方法有很多，一般是先确定一个上下限，超出这个界限的就划为极端值，下面我们介绍经常使用的两种：3σ法和百分位法。

1、3σ法

3σ法源于最经典的统计学3σ原则，即正态分布的数分布在（μ-3σ,μ+3σ)中的概率为99.73%，在3σ外的概率是0.27%，也就是图中尾部的