Python（5）Python数据清洗指南：无效数据处理与实战案例解析（附完整代码）

一个天蝎座白勺程序猿

已于 2025-03-31 14:42:09 修改

阅读量562

点赞数 7

CC 4.0 BY-SA版权

分类专栏： Python零基础到高阶开发实战文章标签： python 大数据人工智能

于 2025-03-27 08:43:01 首次发布

本文链接：https://blog.youkuaiyun.com/Dreamy_zsy/article/details/146522830

Python零基础到高阶开发实战专栏收录该内容

59 篇文章

订阅专栏

一、背景与核心价值

在数据科学项目中，无效数据（缺失值、异常值、重复值）会导致高达35%的分析误差（来源：IBM Data Quality Research）。本教程将深入讲解Pandas库的6种高效处理方法，并提供销售数据集的完整清洗案例，帮助开发者提升数据质量至工业级标准。

二、无效数据分类与识别技术

1. 常见无效数据类型

数据类型	表现形式	识别方法
缺失值	NaN, None	isnull()/notnull()
异常值	超出合理范围	3σ原则/IQR法
重复值	完全重复行	duplicated()

2. 高级检测技巧

# 热力图可视化缺失分布
import seaborn as sns
sns.heatmap(df.isnull(), cbar=False)

# 动态异常检测函数
def detect_outliers(df, column):
    q1 = df[column].quantile(0.25)
    q3 = df[column].quantile(0.75)
    iqr = q3 - q1
    return df[(df[column] < q1-1.5*iqr) | (df[column] > q3+1.5*iqr)]

三、六大处理方法深度解析

1. 精准删除策略

# 动态阈值删除（保留至少80%有效数据的行）
df.dropna(thresh=len(df.columns)*0.8, inplace=True)

2. 智能填充技术

# 多维度填充（不同列采用不同策略）
fill_values = {'price': df['price'].median(), 
               'region': 'Unknown'}
df.fillna(fill_values, inplace=True)

3. 时间序列插值

# 时间感知的插值处理
df['sales'] = df['sales'].interpolate(method='time')

4. 异常值分箱处理

# 等频分箱+均值平滑
df['age_group'] = pd.qcut(df['age'], q=5)
df['age'] = df.groupby('age_group')['age'].transform('mean')

四、电商销售数据清洗实战

1. 数据集说明

模拟生成包含2000条销售记录的数据集，包含：

order_id（订单ID）
sale_amount（存在5%缺失）
customer_age（含3%异常值）
order_date（时间序列）

2. 四步清洗流程

# 步骤1：加载与检测
df = pd.read_csv('sales_data.csv', parse_dates=['order_date'])
print(df.info())

# 步骤2：处理缺失（动态填充）
df['sale_amount'] = df['sale_amount'].fillna(df.groupby('product_category')['sale_amount'].transform('mean'))

# 步骤3：修正异常年龄
age_std = df['customer_age'].std()
df = df[(df['customer_age'] >= 18) & (df['customer_age'] <= 80)]

# 步骤4：时序数据插值
df = df.set_index('order_date').resample('D').asfreq()
df['sale_amount'] = df['sale_amount'].interpolate('linear')

五、工业级处理方案选择矩阵

场景特征	推荐方案	优势	风险控制
大数据量(>1M)	删除法	效率高	设置合理阈值
时序数据	插值法	保留趋势	监测周期波动
分类特征	众数填充	保持分布	检查类别平衡
连续数值	分箱平滑	消除噪声	验证分箱策略