python缺失值处理方法大全

最新推荐文章于 2025-03-28 15:19:11 发布

GG向前冲

最新推荐文章于 2025-03-28 15:19:11 发布

阅读量4.4k

点赞数 29

分类专栏：数据挖掘文章标签： python 开发语言数据分析机器学习算法数据结构数据挖掘

本文链接：https://blog.youkuaiyun.com/m0_70466650/article/details/136752119

版权

本文详细介绍了数据清洗中缺失值的定义、检测方法（df.isnull()、df.info()），并探讨了异常值与缺失值的关系。重点讲解了缺失值处理的各种策略，包括删除、填充（均值、插值、模型预测）、以及利用特定领域知识。提醒读者根据数据特性和需求选择合适的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在一般情况下，我们所收集得到的数据不可能是“完美无暇”的，通常会包含缺失值、异常值等让我们头疼的情况，对于数据挖掘或数据分析，花费时间最长的不是建模方面，反而是在数据清洗阶段。为了保证数据质量以及模型的可靠性，数据清洗就显得尤为重要，本文将重点讲解该如何处理缺失值。

一、什么是缺失值？

缺失值是指在数据集中某些位置或字段缺失数据或信息的情况。在实际的数据收集与记录的过程中，可能由于各种原因导致部分数据缺失。缺失值通常会用“NaN”、“None”或空字符串表示。缺失值一般会对数据分析与建模产生影响，所以需要对缺失值进行处理清洗。
在这里插入图片描述

二、缺失值检测

首先随机生成数据，并随机设置缺失值：

import numpy as np
import pandas as pd
import random
np.random.seed(1)  #随机种子
data=np.random.rand(80,5)
np.random.seed(11) 
m=np.random.choice([True,False],[80,5],(0.05,0.95))  #第一个表示取值，第二个表示个数，第三个表示概率
m[0,2]=False  #保持第一行为全数据，即第一行无缺失值
data[m]=np.nan
df= pd.DataFrame(data, columns=

最低0.47元/天解锁文章