数据预处理查看重复值删除--python

本文介绍了使用Python的Pandas库进行数据处理的各种方法,包括数据导入、数据描述性统计、缺失值处理、重复值检查与删除、字符串匹配、数据替换等关键操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

python数据分析开始

1、导入数据可以用pandas

data = pd.read_csv("C:/Users/Administrator/Desktop/11/lianjia.csv")

2、describe可以查看数据的信息

data.describe()

这里写图片描述

data.describe(include=['O'])

这里写图片描述

3、info可以查看全部列的信息

data.info()

这里写图片描述

4、可以用isnull查看是否有空值

python pandas判断缺失值一般采用 isnull(),然而生成的却是所有数据的true/false矩阵,下面写法会直接计算出现缺失值的个数

(data.isnull()).sum()

这里写图片描述

5、删除缺失值的方法

pandas有dropna的函数可以删除缺失值。下面文档链接有详细描述
pandas官方文档

data.dropna(how = 'all')

6、查看重复值

pandas 的duplicated可以查看,duplicated函数用于标记Series中的值、DataFrame中的记录行是否是重复,重复为True,不重复为False
pandas.DataFrame.duplicated(self, subset=None, keep=‘first’)
其中参数解释如下:

subset:用于识别重复的列标签或列标签序列,默认所有列标签

keep=‘frist’:除了第一次出现外,其余相同的被标记为重复

keep=‘last’:除了最后一次出现外,其余相同的被标记为重复

keep=False:所有相同的都被标记为重复

data.duplicated(subset = ['cjdanjia','cjxiaoqu','cjlouceng'])

这里写图片描述

7、删除重复值

pandas 里面 drop_duplicates
drop_duplicates函数用于删除Series、DataFrame中重复记录,并返回删除重复后的结果

pandas.DataFrame.drop_duplicates(self, subset=None, keep=‘first’, inplace=False)

pandas.Series.drop_duplicates(self, keep=‘first’, inplace=False)

data.drop_duplicates(subset = ['cjdanjia','cjxiaoqu','cjlouceng'])

8、判断字符串中是否包含子字符串

可以用pandas的str.contains 判断,返回boolean Series
详细文档官方文档

dataframe["colname"].str.contains()
dataframe.colname.str.contains("somestring")

可以加个sum,用于求包含子字符的和。就不用全部返回的是True或False

(dataframe.colname.str.contains("somestring")).sum

9、要将值替换成某个值

可以用map进行映射
map(function, iterable, …)会根据提供的函数对指定序列做映射。

第一个参数 function 以参数序列中的每一个元素调用 function 函数,返回包含每次 function 函数返回值的新列表。

dataframe["newcol"]  =  dataframe.somecol.map( {"female":0 , "male": 1} )
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值