18、数据异常检测与质量评估

数据异常检测与质量评估

在数据处理和分析过程中，异常检测和数据质量评估是至关重要的环节。本文将详细介绍异常检测的方法，包括四分位距（IQR）和多元异常检测，同时探讨数据质量评估中缺失数据的处理。

1. 四分位距（IQR）方法

IQR 是一种用于检测异常值的统计方法，相较于 z - 分数，它对数据分布的正态性假设较少。但对于幂律或指数数据分布，IQR 可能无法得出有意义的结果。对于跨越多个数量级的分布，可以考虑对原始数据取 N 次方根或对数后再查看四分位数。

IQR 的核心思想是观察变量的四分位数截断点，计算第一四分位数（25% 分位数）和第三四分位数（75% 分位数）之间的数值距离。通常，我们会选择一个乘数（默认乘数为 1.5）来定义异常值的范围。

以下是一个使用 Python 绘制箱线图来展示 IQR 定义的异常值的示例代码：

import matplotlib.pyplot as plt
import pandas as pd

def show_boxplots(df, cols, whis=1.5): 
    # Create as many horizontal plots as we have columns 
    fig, axes = plt.subplots(len(cols), 1, figsize=(10, 2*len(cols)))
    # For each one, plot the non - null data inside it 
    for n, col in enumerate(cols): 
        data = df[