pandas数据预处理时的一些坑

本文介绍了使用Pandas库处理数据的两种实用技巧:如何正确地对DataFrame进行纵向合并以避免因索引不匹配导致的数据错位,以及如何利用shuffle函数合理地随机化数据集以确保交叉验证的有效性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1) 在使用pd.concat([df1,df2],axis=1)对数据进行纵向合并时,要注意默认是对应行索引进行合并。如果之前对数据进行过类似于去除样本的操作,要注意对两个数据集的行索引进行重复定义,否则会合并错位。

df1.index = range(len(df1))
df2.index = range(len(df2))
df = pd.concat([df1,df2],axis=1)

2) 做数据的时候使用了shuffle这个函数,它的作用是将数据随机打乱。如果有些数据集的Y值或特征值等随着行索引表现出明显的规律性变化,则要小心。因为这个会影响交叉严重的结果。所以要注意对数据进行随机化打乱,还要注意记住random_state的值,以使结果可重复

from sklearn.utils import shuffle #utils在英语中是跑龙套/小工具的意思
df1 = shuffle(df1,random_state=33)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值