python处理csv文件里的空值_如何处理csv中的空值

本文探讨了数据库中的空值(空字符和NULL)的区别,并通过Python示例展示了处理CSV文件时如何区分这两种情况。在Python中,NULL对应None,空字符保持不变,而读取CSV时,NULL会转化为NaN。处理后,将数据写回数据库时需注意这些差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

展开全部

数据库里面的”空2113值”有两种:空字符(“”5261)、空值(NULL)。 两种存储方式在4102数据库中1653都很常见,实际中根据业务或者个人习惯可以用这两种方式来存储“空值”。那这两种到底有什么区别,下面通过例子直接来展示:

-- 创建表testcreate table `test` (`id` int not null ,`name` varchar(255) null ,`date` timestamp null ,`class` varchar(255) null );insert into test (id,name,date,class) values (1,'张三','2017-03-01','a班');insert into test (id,name,date,class) values (2,'李四','2017-03-02','');insert into test (id,name,class) values (3,'王五','c班');select * from test;1234567891011

resize,m_lfit,w_600,h_800,limit_1

select count(date),count(class) from test;1

resize,m_lfit,w_600,h_800,limit_1

看到这里应该明白了,直观看空字符和NULL的区别在于,在做count计算的时候,空字符也会被计算在里面,而NULL不会。有些同学在使用where is null 和is not null 的时候也要注意数据库中的“空值”是空字符还是NULL。不然统计结果可能并不是你想要的。

平时有些数据是需要借助python 来处理的,我们来看看python获取数据的时候有哪些需要注意的。 python有两种方式获取数据: 1. 一种是把数据从MYSQL 中导出到txt或者csv,然后本地读取; 2. 另一种是python直接链接数据库,读取数据; 先看第一种:导出到csv,python 读取

resize,m_lfit,w_600,h_800,limit_1 第二种: resize,m_lfit,w_600,h_800,limit_1

两种方式读取的数据居然不一样!第一种把数据从MYSQL导出后,python读取时,空值即为NULL;

第二种链接数据库后,python能读取表结构,数据库的NULL对应列表中的None以及pandas中的NaN(如果字段类型是时间,则为NaT)。而数据库中的空字符,则被识别为空字符。

个人理解的等式

NULL(数据库)=None(python列表)=NaN(pandas)

空字符(数据库)=空字符(python列表)=空字符(pandas)

从csv中获取数据时:空值(csv)=NULL(数据库)=NaN(pandas)

转为csv数据时:数据库中的NULL\空字符和pandas中的NaN\空字符,都变成csv中的空值

在python处理完数据后,往数据库写数据的时候也一样。注意注意!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值