Python打卡DAY4

@浙大疏锦行

DAY 4 缺失值的处理

题目：初识pandas库与缺失数据的补全

1. 打开数据（csv文件、excel文件）
2. 查看数据（尺寸信息、查看列名等方法）
3. 查看空值
4. 众数、中位数填补空值
5. 利用循环补全所有列的空值

笔记：1.type(data) 查看数据类型

2.data.isnull()   输出布尔矩阵查看缺失值 若为缺失则为true 反之为false

 3.data.head(10) 查看前十列内容

4. pandas读取excel需要安装openpyxl库，去anaconda prompt中安装。

5.data.info() 用于查看每列的名字，以及有几个非缺失值及数据类型，该代码最为常用。

下图可见有18个特征（columns） Dtype即类型 int为整型 float为浮点型 object可以为任意类型 一般为字符。

 

6.data.shape 获取行列数

7.data["Annual Income"].dtype 获取某一列的数据类型 .dtype去掉可输出查看此列内容

series代表的是一维数据 即单列或单行 dataframe则为二维 代表的是表格

8.data.isnull().sum()  可显示每一列缺失值的数量

、

9.重点 中位数填补列缺失值

median_income = data['Annual Income'].median()

将Annual Income列的中位数赋值给median_income

data['Annual Income'].fillna(median_income, inplace=True)

即将median_income赋给缺失值（True）

众数填补

import pandas as pd
data = pd.read_csv('data.csv') 
mode = data['Annual Income'].mode()
mode

这里会返回四个最多频次的值 一般选第一个 mode = mode[0]

data['Annual Income'].fillna(mode, inplace=True) 填补缺失值

data['Annual Income'].isnull().sum() 再次检查数据是否填补完毕

10.比上面难 直接填补所有列数值类型缺失值

data.columns

c = data.columns.tolist()
type(c)
c

c存储columes通过tolist()转换成的list

for i in c:
    if data[i].dtype != 'object': 
        if data[i].isnull().sum() > 0:
            mean_value = data[i].mean()
            data[i].fillna(mean_value, inplace=True)

data.isnull().sum()

通过循环 用均值使缺失值补全 

data[i].mean() 为第i列的均值并赋给 mean_value 并用data[i].fillna(mean_value, inplace=True)填补