3.4 利用Pandas进行数据清洗和数据规整化

最新推荐文章于 2022-10-10 15:32:42 发布
最新推荐文章于 2022-10-10 15:32:42 发布
阅读量1k 收藏 9
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 数据科学 机器学习历程 文章标签： python 开发语言 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Ahaha_biancheng/article/details/123276558
本文详细介绍了数据清洗中的缺失数据处理方法，包括数据滤除和填充，并通过实例演示了如何使用dropna()和fillna()函数。此外，讲解了数据合并的不同方式，如行追加和列连接，以及如何利用merge()函数进行数据关联。最后，涉及了数据排序，包括值排序和排名操作，展示了如何根据成绩和年龄对数据进行排序和排名分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
本文章是3.4、3.5的内容，如果想要源代码和数据可以看以下链接：
https://download.youkuaiyun.com/download/Ahaha_biancheng/83338868

文章目录

3.4 数据清洗

3.4.1 缺失数据处理

主要有数据滤除和数据填充两类方法

缺失数据被表示为NaN， 赋值时使用np.nan

◆  样本容量大，忽略缺失行

◆  样本容量较小，采用合适的值来填充

例3-9：从studentsInfo.xlsx的Group1表单读取数据，滤除部分缺失数据，填充部分缺失数据。

import pandas as pd
import numpy as np
stu = pd.read_excel('data/studentsInfo.xlsx', index_col=0)
stu
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNingNaN800.054
2male22.018071.0GuangXi77.01300.034
3maleNaN18062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.0172NaNShanDong91.0NaN55
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055

3.4.1.1 数据滤除

dropna()函数删除空值所在行或列，产生新数据对象，不改变原对象

在这里插入图片描述

# 缺省删除包含有缺失值的行（序号1、3、5的行被滤除）
stu.dropna()
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
2male22.018071.0GuangXi77.01300.034
4male20.017772.0LiaoNing79.0900.044
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055
# 保留有效数据个数≥8的行(序号5的行被滤除)
stu.dropna(thresh=8)
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNingNaN800.054
2male22.018071.0GuangXi77.01300.034
3maleNaN18062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055
# 未改变原始值
stu
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNingNaN800.054
2male22.018071.0GuangXi77.01300.034
3maleNaN18062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.0172NaNShanDong91.0NaN55
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055

3.4.1.2 数据填充

fillna()函数可以实现NaN数据的批量填充，也可以对指定列进行填充；
填充操作产生新的数据对象，原始数据不会被修改

填充有两种基本思路：

  ◆  用默认值填充
  ◆  用已有数据的均值/中位数来填充

在这里插入图片描述

例3-9“年龄”和“体重”列有缺失数据

◆  同年级学生年龄差距不大，用默认值填充
◆  体重用平均值来填充

# 按列填充，构造{列索引名:值}形式的字典对象作为实参
stu.fillna({'年龄':21, '体重':stu['体重'].mean()})
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.000000LiaoNingNaN800.054
2male22.018071.000000GuangXi77.01300.034
3male21.018062.000000FuJian57.01000.024
4male20.017772.000000LiaoNing79.0900.044
5male20.017263.666667ShanDong91.0NaN55
6male20.017975.000000YunNan92.0950.055
7female21.016653.000000LiaoNing80.01200.045
8female20.016247.000000AnHui78.01000.044
9female20.016247.000000AnHui78.01000.044
10male19.016976.000000HeiLongJiang88.01100.055
# 用前一行数据替换当前行的空值,第一行没有填充
stu.fillna(method='ffill')
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNingNaN800.054
2male22.018071.0GuangXi77.01300.034
3male22.018062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.017272.0ShanDong91.0900.055
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055
# 对于全是数字的文件，可以设置用标量填充所有的缺失值
stu.fillna(0)
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNing0.0800.054
2male22.018071.0GuangXi77.01300.034
3male0.018062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.01720.0ShanDong91.00.055
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055
# 对于全是数字的文件，可以设置全用平均值填充
stu.fillna(stu.mean())
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.00000017070.000000LiaoNing80.0800.00000054
2male22.00000018071.000000GuangXi77.01300.00000034
3male20.22222218062.000000FuJian57.01000.00000024
4male20.00000017772.000000LiaoNing79.0900.00000044
5male20.00000017263.666667ShanDong91.01027.77777855
6male20.00000017975.000000YunNan92.0950.00000055
7female21.00000016653.000000LiaoNing80.01200.00000045
8female20.00000016247.000000AnHui78.01000.00000044
9female20.00000016247.000000AnHui78.01000.00000044
10male19.00000016976.000000HeiLongJiang88.01100.00000055
# 用每列的中位数填充
stu.fillna(stu.median())
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNing79.0800.054
2male22.018071.0GuangXi77.01300.034
3male20.018062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.017270.0ShanDong91.01000.055
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055

3.4.2 去除重复数据

例3-10 从文件studentsInfo.xlsx的“Group1”页中读取数据，去除重复数据。

obj.drop_duplicates()

stu = pd.read_excel("data/studentsInfo.xlsx", index_col=0)
stu
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNingNaN800.054
2male22.018071.0GuangXi77.01300.034
3maleNaN18062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.0172NaNShanDong91.0NaN55
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055
# 序号8、9的行重复，序号9的行被滤除
stu.drop_duplicates()
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNingNaN800.054
2male22.018071.0GuangXi77.01300.034
3maleNaN18062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.0172NaNShanDong91.0NaN55
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055

3.5 数据规整化

3.5.1 数据合并

应用场景

同一实体的数据来自不同的业务系统

◆  学生的基本信息来自教务系统

◆  学生刷卡数据来自一卡通系统

相同实体的多个数据集

◆  案例3-1中反馈数据存放在5张Excel表中

数据合并可分为两种处理方式

◆  行数据追加
    原数据的列与新增数据的列完全相同
    轴向连接：concat()函数

◆  列数据连接：merge()函数

例3-11 将新同学的信息添加到学生基本信息中

import pandas as pd
import numpy as np
from pandas import Series,DataFrame

#定义两个DataFrame对象存储两个表的数据

colname = ['学号','姓名','专业']
data1 = [['202003101','赵成','软件工程'], ['202005114','李斌丽','机械制造'], ['202009111','孙武一','工业设计']]
stu1 = DataFrame(data1, columns=colname)
stu1
学号姓名专业
0202003101赵成软件工程
1202005114李斌丽机械制造
2202009111孙武一工业设计
data2 = [ ['202003103','王芳','软件工程'], ['202005116','袁一凡','工业设计'] ]
stu2 = DataFrame( data2, columns=colname )   
stu2
学号姓名专业
0202003103王芳软件工程
1202005116袁一凡工业设计
stua = pd.concat([stu1, stu2], axis=0) # axis=0，表示按行进行数据追加
stua
学号姓名专业
0202003101赵成软件工程
1202005114李斌丽机械制造
2202009111孙武一工业设计
0202003103王芳软件工程
1202005116袁一凡工业设计

列数据连接
在这里插入图片描述

参数how的四种合并方式

1）inner：内连接，拼接两个数据对象中键值交集的行，其余忽略
2）outer：外连接，拼接两个数据对象中键值并集的行
3）left：左连接，取出x的全部行，拼接y中匹配的键值行。
4）right：右连接，取出y的全部行，拼接x中匹配的键值行。

2、3或4种合并方法,当某列数据不存在则自动填充NaN

例3-12 根据一卡通刷卡记录，分析各专业学生上图书馆的习惯，将教务数据表与刷卡信息表拼接起来

cardcol = ['ID','刷卡地点','刷卡时间','消费金额']
data3 = [ ['202003101','一食堂','20180305 1145',14.2], ['104574','教育超市','20180307 1730',25.2],['202003103','图书馆','20180311 1823'],['202005116','图书馆','20180312 0832'],['202005114','二食堂','20180312 1708',12.5],['202003101','图书馆','20180314 1345']]
card = DataFrame( data3, columns=cardcol )   #创建一卡通数据对象
card
ID刷卡地点刷卡时间消费金额
0202003101一食堂20180305 114514.2
1104574教育超市20180307 173025.2
2202003103图书馆20180311 1823NaN
3202005116图书馆20180312 0832NaN
4202005114二食堂20180312 170812.5
5202003101图书馆20180314 1345NaN
stua
学号姓名专业
0202003101赵成软件工程
1202005114李斌丽机械制造
2202009111孙武一工业设计
0202003103王芳软件工程
1202005116袁一凡工业设计
# 采用左连接，忽略非学生记录
# 对应左边表格有的记录，右边表格没有的记录补空，右边表格多的记录丢弃

t = pd.merge(stua, card, how='left', left_on='学号',right_on ='ID')
t
学号姓名专业ID刷卡地点刷卡时间消费金额
0202003101赵成软件工程202003101一食堂20180305 114514.2
1202003101赵成软件工程202003101图书馆20180314 1345NaN
2202005114李斌丽机械制造202005114二食堂20180312 170812.5
3202009111孙武一工业设计NaNNaNNaNNaN
4202003103王芳软件工程202003103图书馆20180311 1823NaN
5202005116袁一凡工业设计202005116图书馆20180312 0832NaN
t[t['刷卡地点']=='图书馆']
学号姓名专业ID刷卡地点刷卡时间消费金额
1202003101赵成软件工程202003101图书馆20180314 1345NaN
4202003103王芳软件工程202003103图书馆20180311 1823NaN
5202005116袁一凡工业设计202005116图书馆20180312 0832NaN
# 右链接，对应右边表格有的记录，左边表格没有的记录补空，左边表格多的记录丢弃
pd.merge(stua, card, how='right', left_on='学号', right_on='ID')
学号姓名专业ID刷卡地点刷卡时间消费金额
0202003101赵成软件工程202003101一食堂20180305 114514.2
1202003101赵成软件工程202003101图书馆20180314 1345NaN
2NaNNaNNaN104574教育超市20180307 173025.2
3202003103王芳软件工程202003103图书馆20180311 1823NaN
4202005116袁一凡工业设计202005116图书馆20180312 0832NaN
5202005114李斌丽机械制造202005114二食堂20180312 170812.5

在这里插入图片描述

# 内链接，保存两个表格都有的记录，不论哪个表格没有的记录都去掉，找交集
pd.merge(stua, card, how='inner', left_on='学号', right_on='ID')
学号姓名专业ID刷卡地点刷卡时间消费金额
0202003101赵成软件工程202003101一食堂20180305 114514.2
1202003101赵成软件工程202003101图书馆20180314 1345NaN
2202005114李斌丽机械制造202005114二食堂20180312 170812.5
3202003103王芳软件工程202003103图书馆20180311 1823NaN
4202005116袁一凡工业设计202005116图书馆20180312 0832NaN
# 外连接，求并集
pd.merge(stua, card, how='outer', left_on='学号', right_on='ID')
学号姓名专业ID刷卡地点刷卡时间消费金额
0202003101赵成软件工程202003101一食堂20180305 114514.2
1202003101赵成软件工程202003101图书馆20180314 1345NaN
2202005114李斌丽机械制造202005114二食堂20180312 170812.5
3202009111孙武一工业设计NaNNaNNaNNaN
4202003103王芳软件工程202003103图书馆20180311 1823NaN
5202005116袁一凡工业设计202005116图书馆20180312 0832NaN
6NaNNaNNaN104574教育超市20180307 173025.2

3.5.2 数据排序

Series和DataFrame 都支持排序

◆  按照列数据值排序
◆  按照列数据生成排名

3.5.2.1 值排序

在这里插入图片描述

例3-13：从文件studentsInfo.xlsx的“Group3”表单中读取数据,对“成绩”进行排序分析。

# 读取文件
stuinfo = pd.read_excel('data/studentsInfo.xlsx', index_col=0)
stuinfo
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNingNaN800.054
2male22.018071.0GuangXi77.01300.034
3maleNaN18062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.0172NaNShanDong91.0NaN55
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055
# 填充缺失值
stuc = stuinfo.fillna(method='bfill')
stuc
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
1male20.017070.0LiaoNing77.0800.054
2male22.018071.0GuangXi77.01300.034
3male20.018062.0FuJian57.01000.024
4male20.017772.0LiaoNing79.0900.044
5male20.017275.0ShanDong91.0950.055
6male20.017975.0YunNan92.0950.055
7female21.016653.0LiaoNing80.01200.045
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
10male19.016976.0HeiLongJiang88.01100.055
# 按照单列排序
stuc.sort_values(by='成绩', ascending=False).loc[:, '成绩']

序号
6     92.0
5     91.0
10    88.0
7     80.0
4     79.0
8     78.0
9     78.0
1     77.0
2     77.0
3     57.0
Name: 成绩, dtype: float64

指定多个列排序，如：by=[‘成绩’, ‘年龄’],先按“成绩”排序，若某些行的“成绩”相同，这几行再按“年龄”排序

# 按照多列排序，可以看1，2两位学生
stuc.sort_values(by=['成绩', '年龄'], ascending=False)
性别年龄身高体重省份成绩月生活费课程兴趣案例教学
序号
6male20.017975.0YunNan92.0950.055
5male20.017275.0ShanDong91.0950.055
10male19.016976.0HeiLongJiang88.01100.055
7female21.016653.0LiaoNing80.01200.045
4male20.017772.0LiaoNing79.0900.044
8female20.016247.0AnHui78.01000.044
9female20.016247.0AnHui78.01000.044
2male22.018071.0GuangXi77.01300.034
1male20.017070.0LiaoNing77.0800.054
3male20.018062.0FuJian57.01000.024

3.5.2.2 排名

排名给出每行的名次

定义等值数据的处理方式，如并列名次取最小值或最大值，也可以取均值。

在这里插入图片描述

# 相同值设置为最小值
stuc['成绩排名'] = stuc['成绩'].rank(method='min', ascending=False)
stuc[['成绩','成绩排名']]
成绩成绩排名
序号
177.08.0
277.08.0
357.010.0
479.05.0
591.02.0
692.01.0
780.04.0
878.06.0
978.06.0
1088.03.0
# 相同值设置为最大值
stuc['成绩排名'] = stuc['成绩'].rank(method='max', ascending=False)
stuc[['成绩','成绩排名']]
成绩成绩排名
序号
177.09.0
277.09.0
357.010.0
479.05.0
591.02.0
692.01.0
780.04.0
878.07.0
978.07.0
1088.03.0
# 相同值设置为平均值，书本上写的是mean,应该是打印错误，得是average
# 更多参数详解可参考 https://juejin.cn/post/6979877027385966622

stuc.loc[3:5, '成绩'] = 77
stuc['成绩排名'] = stuc['成绩'].rank(method='average', ascending=False)
stuc[['成绩','成绩排名']]
成绩成绩排名
序号
177.08.0
277.08.0
377.08.0
477.08.0
577.08.0
692.01.0
780.03.0
878.04.5
978.04.5
1088.02.0
利用Pandas库进行简单的数据规整
MaRin0709的博客
02-03 306
Pandas练习4-数据规整练习题练习1练习2练习3练习4练习1代码效果图练习2代码效果图练习3代码效果图练习4代码效果图小结 练习题 练习1 练习2 练习3 练习4 练习1 代码 import pandas as pd # Exercise 1 # 通过starbucks_store_worldwide.csv数据，分析星巴克在中国分布多还是美国分布多？ # 将 Country 设成 行索引 去匹配 CN(中国)和US(美国) starbucks_data = pd.read_csv("starb
Pandas库基础分析——数据规整化处理
weixin_34185364的博客
05-20 255
前言 在数据分析和建模之前需要审查数据是否满足数据处理应用的要求，以及对数据进行清洗，转化，合并，重塑等一系列规整化处理。pandas标准库提供了高级灵活的方法，能够轻松地将数据规整化为正确的形式，本文通过例程介绍使用pandas库从获取数据到最终数据重塑的方法。 数据文件获取 Pandas库提供专门处理csv文件的方法read_csv(...
第3章 数据汇总与统计答案
m0_51474486的博客
03-07 6166
Series、DataFrame创建，读取，统计分析。 P36思考与练习1、 P44思考与练习2、 P48思考与练习3、 P52思考与练习4、 P56思考与练习5、 P63综合练习题。
Pandas缺失值处理
路在脚下
04-17 4831
稀疏数据指的是在数据库或者数据集中存在大量缺失数据或者空值，本文对空值的替换和删除记录
dhu 数据科学与技术 第4次作业
qq_60462402的博客
10-10 1505
2）从studentsInfo.xlsx的“Group3”页读取数据，将序号、身高、体重、成绩项保存到data2对象；1）从studentsInfo.xlsx的“Group3”页读取数据，将序号、性别、年龄项保存到data1对象；5）使用列的平均值填充“体重”和“成绩”列的NaN数据；3）滤除每行数据中缺失3项以上（包括3项）的行；6）使用上一行数据填充“年龄”列的NaN数据；7）使用“中位数”填充“生活费用”NaN数据。2）将“案例教学”列数据值全改为NaN；4）滤除值全部为NaN的列；
数据科学第三章Pandas数据结构、读取文件、数据清洗等操作
03-04
3.4 数据清洗 3.4.1 缺失数据处理 3.4.2 去除重复数据 3.5 数据规整化 3.5.1 数据合并 3.5.2 数据排序 3.6 统计分析 3.6.1 通用函数与运算 3.6.2 统计函数 3.6.3 相关性分析 3.6.4 案例：调查反馈表分析
Pandas进阶指南：数据结构操作与数据清洗技巧
资源摘要信息:"本章节主要介绍了数据科学中Pandas库的使用，涵盖了数据结构、文件读写、数据清洗、数据规整化以及统计分析等重要知识点。通过本章的学习，读者将能够熟练运用Pandas进行数据分析和处理。 3.2 pandas...
工具书—《利用Python进行数据分析》读书笔记
joe_lee1的博客
06-19 734
《利用Python进行数据分析》知识总结 一、Python数据科学库介绍 1、Numpy——numerical python Python数值计算的基石，提供多种数据结构、算法以及大部分涉及Python数值计算所需的接口。 2、pandas——Python data analysis 提供高级数据结构和函数，将表格和关系型数据库的灵活数据操作能力与numpy的高性能数组计算理念相结合。提供复杂的索引函数，使得数据的重组、切块、切片、聚合、子集选择更为简单。 3、matplotlib 制图以及数据可视化库 4
python数据整理规范形式_机器学习：数据预处理（清洗/集成/变换/规约）及Python实现...
weixin_39605345的博客
02-10 944
数据预处理主要包括数据清洗、数据集成、数据变换和数据规约四个部分。1. 数据清洗1.1 缺失值处理缺失值一般由NA表示，在处理缺失值时要遵循一定的原则。首先，需要根据业务理解处理缺失值，弄清楚缺失值产生的原因是故意缺失还是随机缺失，再通过一些业务经验进行填补。一般来说当缺失值少于20%时，连续变量可以使用均值或中位数填补；分类变量不需要填补，单算一类即可当缺失值处于20%-80%之间时，填补方法同...
Kmeans聚类①——数据标准化&归一化&正则化
热门推荐
cindy407的博客
06-14 3万+
在进行机器学习之前，经常需要对训练数据进行标准化/归一化/正则化，为什么呢？ **1）去除量纲的影响，将有量纲的数值变成无量纲的纯数值； 2）是去除各特征之间数值差异过大的问题，比如一个向量（uv:10000, rate:0.03,money: 20)，如果要与其它向量一起计算欧氏距离或者余弦相似度时，会向uv倾斜非常严重，导致其余2个特征对模型的贡献度非常低 3）提升训练的速度，防止过拟合 一、...
pandas用均值填充nan_pandas dataframe 填充 NaN（填补缺失值）的方法 fillna 函数使用说明...
weixin_35757191的博客
12-24 7942
在基于 pandas 的 DataFrame 对象进行数据处理时(如样本特征的缺省值处理)，可以使用 DataFrame 对象的 fillna 函数进行填充，同样可以针对指定的列进行填补空值，单列的操作是调用Series 对象的 fillna 函数。fillna 函数DataFrame.fillna(value=None, method=None, axis=None, inplace=Fals...
缺失值填充：关于年龄特征
weixin_38322363的博客
11-04 3230
不妥之处，欢迎评论指出。 缺失值填充这回事我们第一能想到的就是使用0进行填充，但是如果是年龄的话直接使用0进行填充就有点不太靠谱了，那么怎么办呢？ 情况一：全样本均值填充 如果整个样本群体的年龄方差不大，比如整个样本来源于初中生，年龄在13-15岁之间，那么直接使用全样本的均值填充即可。 情况二：分类样本均值填充 但是真实情况往往不会这么美好，哪怕是初中生也会有急着早读书的学生和可怜巴巴的留级生，...
第3章【思考与练习4】数据清洗，从studentsInfo.xlsx 文件的“Group1”表单中读取数据。数据填充，使用习题1的数据，使用列的平均值填充“体重”和“成绩”列的NaN数据。
m0_51474486的博客
03-13 8400
第3章 | 数据汇总与统计。P52【思考与练习4】。考察数据填充与清洗。 1、数据清洗。 1）从studentsInfo.xlsx 文件的“Group1”表单中读取数据；2）将“案例教学”列数据值全改为NaN； 3）滤除每行数据中缺失3项以上（包括3项）的行；4）滤除值全部为NaN的列； 2、数据填充：1）使用习题1的数据； 2）使用列的平均值填充“体重”和“成绩”列的NaN数据； 3）使用上一行数据填充“年龄”列的NaN数据； 4）使用“中位数”填充“生活费用”NaN数据。
第二次作业
weixin_30666753的博客
10-09 110
第二次作业 第一部分：我的本次作业成果 我自己个人的github地址是：https://github.com/dpanghu 我们开发团队小组的github地址：https://github.com/orgs/Handsome-Boys/people 第二部分：给同学推荐github资源 我推荐的可以去学习一些基本的github学习项目：地址是：https://www.cnbl...
Pandas第6章：处理缺失数据
weixin_43016760的博客
06-23 857
Pandas第6章：处理缺失数据6.1缺失值查看6.2缺失值符号三种符号Nullable类型与NA符号6.3过滤、填充与删除6.4 问题与练习【练习一】现有一份虚拟数据集，列类型分别为string/浮点/整型，请解决如下问题a）请以列类型读入数据，并选出C为缺失值的行b）现需要将A中的部分单元转为缺失值，单元格中的最小转换概率为25%，且概率大小与所在行B列单元的值成正比。【练习二】 现有一份缺失的数据集，记录了36个人来自的地区、身高、体重、年龄和工资，请解决如下问题：a）统计各列缺失的比例并选出在后三列
pandas实例——读取文件并进行数据分析练习
weixin_42213622的博客
02-27 2894
案例一 文件描述: 每列数据分别代表如下: 订单编号, 订单数量, 商品名称， 商品详细选择项， 商品总价格 需求1： 1). 从文件中读取所有的数据; 2). 获取数据中所有的商品名称； 3）. 跟据商品的价格进行排序， 降序， 将价格最高的20件产品信息写入mosthighPrice.xlsx文件中; 需求1： 1). 从文件中读取所有的数据; goodsInfo = pd.read_cs...
数据科学技术与应用【中国大学MOOC】：数据汇总与统计（二）_第四次作业_答案
Herbert胡不归
07-08 6000
数据科学技术与应用 数据汇总与统计（二） 第四次作业 答案 题目来源：中国大学MOOC-东华大学-宋晖等-数据科学技术与应用 1 ( 25分 ) 数据清洗和填充 1)从studentsInfo.xlsx 文件的“Group1”表单中读取数据； 2)将“案例教学”列数据值全改为NaN； 3)滤除每行数据中缺失3项以上（包括3项）的行； 4)滤除值全部为NaN的列； 5)使用列的平均值填充“体重”和“成绩”列的NaN数据； 6)使用上一行数据填充“年龄”列的NaN数据； 7)使用“中位数”填充“生活费用”NaN
上传文件，解析读取excel表格 （前后端完整案例）
吾行远方
08-20 2853
1、jar <dependency> <groupId>net.sourceforge.jexcelapi</groupId> <artifactId>jxl</artifactId> <version>2.6.12</version> </dependency> 2、前端案例 &l...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值