常用去除离群值的算法！

原创最新推荐文章于 2026-07-09 12:16:05 发布 4w 阅读 AI写同款

收录于

数学基础

dulingwen

码龄9年墨衍会员 · AI 创作全网分发

519粉丝72篇原创

关注

使用Python检测并删除离群值 离群值是一个数据项/对象，它明显偏离其余的（所谓的正常）对象。它们可能由测量或执行错误引起。离群点检测的分析被称为离群点挖掘。检测离群值的方法有很多，删除过程与从pandas的数据框中删除数据项相同。阅读详情

AI摘要

本文介绍了三种常见的离群值处理方法：MAD算法、3σ法则及百分位法。MAD算法利用绝对中位值偏差识别离群值；3σ法则依据均值与标准差进行判断；百分位法则通过设定阈值排除极端数据。

1.引言：

数据预处理的方法主要包括去极值、标准化、中性化。那么这里介绍几个常用的去离群值的方法，所谓离群值就是异常值，这个和极值其实并不一样。常用的剔除离群值的方法有MAD、 $3\sigma$ 、百分位法。参考资料：数据预处理（上）之离群值处理、标准化、数据预处理（下）之中性化

2.MAD算法

MAD，即median absolute deviation，可译为绝对中位值偏差。其大致思想是通过判断每一个元素与中位值的偏差是否处于合理的范围内来判断该元素是否为离群值。具体方法如下：

（1）计算所有元素的中位值： $X_{median}$

（2）计算所有元素与中位值的绝对偏差： $bias = |X_{i} - X_{median}|$

（3）取得绝对偏差的中位值： $MAD = bias_{median}$

（4）确定参数n，则可以对所有的数据作如下调整：

在这里我没有调整离群值，而是直接将其剔除了。

代码如下：

import numpy as np

# MAD法: media absolute deviation
def MAD(dataset, n):
    median = np.median(dataset)  # 中位数
    deviations = abs(dataset - median)
    mad = np.median(deviations)

    remove_idx = np.where(abs(dataset - median) >  n * mad)
    new_data = np.delete(dataset, remove_idx)

    return new_data

2. $3\sigma$ 法

$3\sigma$ 法又称为标准差法。标准差本身可以体现因子的离散程度，和MAD算法类似，只是 $3\sigma$ 法用到的不是中位值，而是均值，并且n的取值为3，代码如下：

# 3sigma法
def three_sigma(dataset, n= 3):
    mean = np.mean(dataset)
    sigma = np.std(dataset)

    remove_idx = np.where(abs(dataset - mean) > n * sigma)
    new_data = np.delete(dataset, remove_idx)

    return new_data

3.百分位法

百分位计算的逻辑是将因子值进行升序的排序，对排位百分位高于97.5%或排位百分位低于2.5%的因子值，类似于比赛中”去掉几个最高分，去掉几个最低分“的做法。代码如下：这里参数采用的是20%和80%，具体取值，还需具体情况具体分析。

# 百分位法:原始参数 min=0.025， max=0.975
def percent_range(dataset, min= 0.20, max= 0.80):
    range_max = np.percentile(dataset, max * 100)
    range_min = -np.percentile(-dataset, (1 - min) * 100)

    # 剔除前20%和后80%的数据
    new_data = []
    for value in dataset:
        if value < range_max and value > range_min:
            new_data.append(value)
    return new_data

这三个方法思路简单，易于实现，但是只能处理一维数据，接下来，再考虑更复杂但却更精准的可适用于多维数据的离群值处理方法！参考资料：离群点检测---基于kNN的离群点检测、LOF算法和CLOF算法