python解决pandas处理缺失值为空字符串

最新推荐文章于 2024-06-30 21:30:13 发布
原创 最新推荐文章于 2024-06-30 21:30:13 发布 · 3w 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bug #python #csv #缺失值 #pandas

本文记录了一个使用pandas处理CSV文件中缺失值时遇到的问题及解决方案。问题在于某些看似为空的单元格实际上包含空字符串，导致pandas无法正确识别为空值。文章提供了具体的处理步骤，包括使用正则表达式替换空字符串并利用pandas的特定参数处理。
部署运行你感兴趣的模型镜像

踩坑记录：


用pandas来做csv的缺失值处理时候发现奇怪BUG，就是excel打开csv文件，明明有的格子没有任何东西，当然，我就想到用pandas的dropna()或者fillna()来处理缺失值。但是pandas读取csv文件后发现那个空的地方isnull()竟然是false，就是说那个地方有东西。。。后来经过排查发现看似什么都没有的地方有空字符串，故pandas认为那儿不是缺失值，所以就不能用dropna()或者fillna()来处理。


解决思路：先用正则将空格匹配出来，然后全部替换为NULL，再在用pandas读取csv时候指定 read_csv（na_values='NULL'）就是将NULL认为是nan处理，接下来就可以用dropna()或者fillna()来处理了

您可能感兴趣的与本文相关的镜像

Python3.11

Python3.11

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

pandas使用fillna函数将dataframe中缺失值替换为空字符串（replace missing value with blank string in dataframe）
data+scenario+science+insight
02-01 1332
pandas使用fillna函数将dataframe中缺失值替换为空字符串（replace missing value with blank string in dataframe）
使用Pandas的fillna函数将DataFrame中的缺失值替换为空字符串
ByteHackerX的博客
09-06 715
其中，fillna函数是一个常用的方法，可以用于将DataFrame中的缺失值替换为指定的值。本文介绍了如何使用Pandas的fillna函数将DataFrame中的缺失值替换为空字符串。除了将缺失值替换为空字符串，fillna函数还可以替换为其他的值，比如0或者平均值。通过上述示例，我们可以根据具体需求使用fillna函数将DataFrame中的缺失值替换为我们想要的值。可以看到，fillna函数将DataFrame中的缺失值替换为空字符串。接下来，我们可以使用fillna函数将缺失值替换为空字符串。
python pandas消除空值和空格以及 Nan数据替换方法
09-20
今天小编就为大家分享一篇python pandas消除空值和空格以及 Nan数据替换方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python pandas缺失值处理_Python Pandas对缺失值的处理方法
weixin_39896617的博客
03-01 360
Pandas使用这些函数处理缺失值：isnull和notnull：检测是否是空值，可用于df和seriesdropna：丢弃、删除缺失值axis : 删除行还是列，{0 or ‘index', 1 or ‘columns'}, default 0how : 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除inplace : 如果为True则修改当前df，否则返回新的dffill...
Pandas中空字符串（非缺失值）处理方法
jiangjiane
12-16 6546
在使用pandas处理数据时，会遇到这样一个问题：打开文档查看某些列明显有很多是空的，但是在python里用dataframe.info统计出来并不是空的，这是因为excel表里这些数据看起来是空的值，但其实是一个空格，但是用isnull判断是为False的。 解决方案： 对整张表dataframe替换空格为np.nan,可以使用replace方法通过正则匹配空格，然后替换： ...
python解决pandas处理缺失值为空字符串的问题
09-20
例如，假设我们有一个包含空字符串的CSV文件，Pandas在读取文件时，不会将这些空字符串识别为缺失值，而会将其作为普通字符串处理。这就会导致我们在使用`dropna()`或`fillna()`时无法按预期清理这些“缺失”数据。 ...
11-Python Pandas处理字符串
最新发布
qwy715229258163的博客
06-30 507
Pandas 提供了一系列的字符串函数，因此能够很方便地对字符串进行处理。注意：上述所有字符串函数全部适用于 DataFrame 对象，同时也可以与 Python 内置的字符串函数一起使用，这些函数在处理 Series/DataFrame 对象的时候会自动忽略缺失值数据（NaN）。
python使用pandas填补缺失值——众数填充失败：
sinat_41690270的博客
05-05 5508
数据挖掘当中填补缺失值出现失败的情况
pandas 删除空值
weixin_46969441的博客
08-22 1万+
pandas 删除空值 目的： 将该含有过多空值的行/列删除 DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False) 参数解释： axis:维度，axis=0表示index行,axis=1表示columns列，默认为0 how:"all"表示这一行或列中的元素全部缺失（为nan）才删除这一行或列，"any"表示这一行或列中只要有元素缺失，就删除这一行或列 thresh： axis中至少有thresh个非缺失值
pandas 去空值
weixin_47464737的博客
11-10 6023
去任意有空值的行 df.dropna(axis=0, how='any', inplace=True) axis： 0: 行操作（默认） 1: 列操作 how： any: 只要有空值就删除（默认） all:全部为空值才删除 inplace： False: 返回新的数据集（默认） True: 在愿数据集上操作 检查空值 print(df.isnull()) # 是空值返回True，否则返回False print(np.any(df2.isnull())) # 只要有一个空值便会返回True，否则返回Fa
缺失数据多重插补处理方法的算法实现.pdf
12-27
文章在简要介绍EM算法的基础上，对MCMC算法，特别是DA算法实现缺失数据补全做了深入探讨，介绍了DA算法迭代模拟过程，并对DA算法与EM算法进行了比较。
Excel VS Python 第二期——缺失值处理
Yif18的博客
07-11 1521
知识点3：检查缺失值 import pandas as pd #载入pandas库 data = pd.read_excel('C:/Users/dell-pc/Desktop/data.xlsx') #读取Excel文件数据 data.head(5) #显示前5行数据 data.shape[0] #显示数据集的行数 data.isnull().sum() #查看各列数据的缺失情况 知识点4：删除缺失值 data.dropna(how = "any", inplace = True)
pandas 处理空值
u012875855的博客
11-30 6352
在使用pandas进行特征工程时，经常会出现空值问题，下面介绍一下pandas中的空值判断 新建一个文件：sample.csv,文件内容如下: a,b,c,d 1,,1,'1' 2,,2,'2' 3,,,'3' 4,,4, 下面通过pandas的read_csv函数 将文件内容加载到dataframe中，dataFrame的结构如下： In [3]: data.info() <c...
Python Pandas对空值的处理
weixin_48826751的博客
03-27 4820
（1）dropna() #删除所有值为空的行 s3.dropna(axis="index",how="all",inplace=False) #how字段可选有any和all,any表示只要有空值出现就删除，all表示全部为空值才删除；inplace字段表示是否替换掉原本的数据 #删除所有值为空的列 s3.dropna(axis="columns",how="all",inplace=False) （2）fillna() #将s3表中分数为空的赋值为0 s3.loc[:,"分数"] = s3["分数"
pandas to_excel产生空值的解决方案
热门推荐
weixin_43178406的博客
10-24 5万+
本文主要介绍了pandas to_excel产生空值的解决方案，希望能对学习pandas的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
如何处理Pandas中的空值?
wangyiniya的博客
12-23 3887
如何处理Pandas中的空值?今天番茄加速就来跟大家探讨一下。 只要和数据打交道，就不可能不面对一个令人头疼的问题-数据集中存在空值。空值处理，是数据预处理之数据清洗的重要内容之一。 Python 数据分析包 Pandas 提供了一些便利的函数，可以帮助我们快速按照设想处理、解决空值。 空值处理的第一招：快速确认数据集中是不是存在空值。有两个函数 isnull, notnull，可以帮助我们快速定位数据集中每个元素是否为空值。 说到空值，在 NumPy 中定义为： np.nan，Python 中定义为 No
pandas plot输出图表中无法显示中文问题
lilisad的博客
09-08 895
这里写自定义目录标题pandas plot输出图表中无法显示中文问题新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 pandas plot输出图表中无法显示中文问题 https://blog.youkuaiyun.com/weixin
excel中单元格中的null，在pandas导入到程序中，全部识别为nan，空值。
weixin_44319196的博客
01-10 1335
在做阿里天池的o2o消费者用券行为预测时，对于数据中的没有数据的值，其全部用“null"表示了。 将该数据导入到程序中，其全部显示为Nan。 该位置的数据类型，用isnull函数判断，为空值。 ...
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值