Python查看数据基础信息、缺失值和重复值处理

1.1预览数据前几行

df.head()   #默认为前5行，也可以自行设置
df.head(10)

1.2查看数据表大小

df.shape

1.3获取数据类型

df.info()

1.4查看数据分布情况

df.describe()
'''
count:计数
mean：平均值
std:标准差
min
max
25%
50%
75%'''

2.1查找缺失值

df.info()
df.isnull()

2.2删除缺失值

df.dropna()    #默认删除含有Nan值的行
#删除全为空白的行
df.dropna(how = "all")

2.3缺失值填充
一般情况下，数据缺失比例不大于30%，不选择删除而是选择填充的方式。

df.fillna(0)   #填充全表多有空值
df.fillna({gender:"male"})   #指定列，指定填充值
#也可利用字典，对多列进行不同指定值填充
df.fillna({fender:"male",age:50})

3.重复值处理

df.drop_duplicates()   #默认对所有字段进行重复值判断,并保留第一行的值
#指定重复值判断列
df.drop_duplicates(subset = ["name","age","time"])
#设置保留最后一个值
df.dropduplicates(keep = last)  #keep默认为first

4.1数据类型查看

#查看每一列的数据类型
df.info()
#单独查看一列的数据类型
df.dtype
df.name.dtype
df[""].dtype

4.2数据类型转换

df[""].astype("float64")    #astype需指定要转换的数据类型