pandas处理异常数据（缺失值和重复值）

最新推荐文章于 2024-06-12 21:48:28 发布

cousinmary

最新推荐文章于 2024-06-12 21:48:28 发布

阅读量1.2k

点赞数

文章标签： pandas python 数据分析

本文链接：https://blog.youkuaiyun.com/m0_51328444/article/details/128276381

版权

本文介绍了如何使用pandas处理数据中的异常情况，包括利用None或np.nan标识缺失值，通过dropna()移除含有缺失值的行，使用fillna()填充缺失值。同时，详细阐述了如何检测并处理重复值，如利用drop_duplicates()保留唯一值，通过is_unique检查重复性，并用duplicated()定位重复行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 缺失值**

a) 可以用None或者np.nan来表示缺失的值

import pandas as pd
import numpy as np
data=[['mark',55,'Italy',4.5,'Europe'],
      ['John',33,'China',3.8,'Asian'],
      ['mary',40,'Japan',2.3,'Asian']]
df=pd.DataFrame(data=data,columns=['name','age','country','score','continent'],
                index=[1001,1002,1003])
df.loc[1001,'score'] = None
df.loc[1004,:]=None
print(df)