空值过滤——data[data['索引'].notnull()]无法过滤

最新推荐文章于 2022-10-22 07:08:47 发布
原创 最新推荐文章于 2022-10-22 07:08:47 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据处理

本文探讨了在数据处理过程中遇到的特殊空值问题，包括如何识别和处理字符串类型的空值（'')与NoneType类型的空值。文章通过实例介绍了在Python中使用dataframe进行空值过滤的方法，并强调了在处理汉字时可能出现的问题。

当用dropna和notnull都不行时，可能数据中出现了''，可以试试data[data['索引']!=''] ，若没有滤空，在试试' '。(中间有空格)。在汉字处理时申请空白字符串，没有被操作直接被放到了数据里。

进行空值处理时，注意空白是‘’还是None，两者形式一致但在代码中不相等，前者是字符串类型，后者是NoneType。在判断等操作中要十分注意。下面是工作中遇到的这种问题。

分类统计也算一类

探究原因：

最终解决方案



MySQL入门（10）——基于datagrip的事务及索引
qyt_722的博客
06-16 4076
5 事务 事务: 指的是逻辑上的⼀组操作,组成这组操作的各个单元要么全都成功,要么全都失败. 事务作⽤：保证在⼀个事务中多次SQL操作要么全都成功,要么全都失败. 比如：银行转账，小明有50元，小红有10元，小明向小红转账10元，在数据库操作中相当于执行了两条SQL语句 UPDATE account SET money=money-10 WHERE id=1;-- 小明账户减10元 UPDATE account SET money=money+10 WHERE id=2;-- 小红账户加10元 我们想让这
数据处理第三章
KklomF_的博客
07-29 421
biji
pandas.DataFrame.notnull返回非空值
热门推荐
waiwai3的博客
06-19 3万+
>>> import pandas as pd >>> df = pd.read_csv('test.csv') >>> print df name id 0 ZhangSan 1.0 1 LiSi 2.0 2 WangEr NaN 3 WanZi 4.0 >>&...
mysql data不能为空_数据为空。不能在空值上调用此方法或属性。（使用组合框）...
weixin_30983563的博客
01-27 1224
小编典典当您的一个或多个字段包含NULL(DBNull.Value)时，您将无法对其使用GetString。您需要使用IsDBNull方法检查它们是否为空，然后选择要在文本框中输入的值。通常是一个空字符串private void comboBox1_SelectedIndexChanged(object sender, EventArgs e){string constring = "dataso...
database-添加not null限制
liuyuan_Carrie的博客
11-01 337
You need to add a NOT NULL constraint to the QUANTITY column in the PO_DETAIL table. Which statement should you use to complete this task? 转存失败重新上传取消 ALTER TABLE po_detail MODIFY (quantity NOT NULL); 转存失败重新上传取消 ..
JS判断数据类型以及数据过滤空值方法
FungLeo's Blog
10-25 3407
JS判断数据类型以及数据过滤空值方法 在我们的项目开发中，经常需要对一个传输中的数据进行滤空处理，过滤 null、undefined、''、[]、{}等，还要对字符串进行去除两端的空格操作。为此，我写了一个递归处理方法，代码如下： const toType = obj => { return ({}).toString.call(obj).match(/\s([a-zA-Z]+)/)[1...
业务逻辑中如何更好的处理空值？
zcswl7961的博客
12-24 577
文章目录1 场景2 问题现场2.1 深入listUser研究2.2 深入研究get方法2.3 深入入参 1 场景 存在一个UserSearchService用来提供用户查询的功能: public interface UserSearchService{ List<User> listUser(); User get(Integer id); } 2 问题现场 对于面向对象...
data_train = data[pd.notnull(data['count'])].sort_values(by=["datetime"]).reset_index(drop=True) data_test = data[~pd.notnull(data['count'])].sort_values(by=["datetime"]).reset_index(drop=True)
05-17
这段代码是将数据集按照时间顺序排序，并将有标签的数据和没有标签...`pd.notnull()`函数是用来判断数据是否为空值的，`sort_values()`函数是用来按照指定列进行排序的，`reset_index()`函数是用来重新设置数据索引的。
#-*- coding: utf-8 -*- # 拉格朗日插值代码 import pandas as pd # 导入数据分析库Pandas from scipy.interpolate import lagrange # 导入拉格朗日插值函数 inputfile = 'D:\\lx/catering_sale.xls' # 销量数据路径 outputfile = '../tmp/sales.xls' # 输出数据路径 data = pd.read_excel(inputfile) # 读入数据 data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None # 过滤异常值，将其变为空值 # 自定义列向量插值函数 # s为列向量，n为被插值的位置，k为取前后的数据个数，默认为5 def ployinterp_column(s, n, k=5): if n > 5: y = s[list(range(n - k, n)) + list(range(n + 1, n + 1 + k))] # 取数 y = y[y.notnull()] # 剔除空值 return lagrange(y.index, list(y))(n) # 插值并返回插值结果 # 逐个元素判断是否需要插值 for i in data.columns: for j in range(len(data)): if (data[i].isnull())[j]: # 如果为空即插值。 data[i][j] = ployinterp_column(data[i], j) data.to_excel(outputfile) # 输出结果，写入文件
最新发布
09-27
valid_points = points[points.notnull()] # 检查是否满足插值条件 if len(valid_points) return np.nan # 执行拉格朗日插值 return lagrange(valid_points.index, valid_points.values)(idx) # 处理...
SELECT MAX(a.UPDATETIME) AS data_update_time FROM sjkf_data.a WHERE a.UPDATETIME IS NOT NULL or a.updatetime ! = ''
06-21
例如，使用NULLIF将空字符串转为NULL，然后只过滤NULL：```sqlSELECTMAX(updatetime)ASmax_updatetimeFROMyour_tableWHERENULLIF(updatetime,'')ISNOTNULL;```这样也可以，但可能性能略差（因为多了一个函数调用），...
处理空值的几种标准做法
路辉的博客
11-06 2869
1.返回值的空值处理 首先看一下这两个方法 // 获取所有公司 List<User> getAllCompanys(); // 获取指定id的公司 FndCompany get(Long companyId); 那么就迎来几个问题 getAllCompanys方法 公司表如果是空的，那么返回的是空集合还是null？ get方法 如果指定ID的公司不存在，那么返回的是空对象还是null？亦或者直接报错？ 如果信息就像上面一样的话，我们对很多消息不清楚，作为一个不关心方法具体实现
判断DataFrame中的数据是否【不是】缺失值 notnull()
liujingwei8610的专栏
10-22 970
辛苦大家转发时注明出处(也是咱们公益编程交流群的入口网址)，刘经纬老师共享知识相关文件下载地址为：https://liujingwei.cn。C选项：df.notnull()的A列返回：True False。D选项：df.notnull()的B列返回：False True。期待大家提出宝贵建议，互相交流，收获更大，助教：lxy。print("【执行】df.notnull():")B选项：notnull()判断缺失值返回False。A选项：notnull()判断缺失值返回True。【Python-数据分析】
python去除数据集里空格_python pandas消除空值和空格以及 Nan数据替换方法
weixin_39711914的博客
12-04 1642
在人工采集数据时，经常有可能把空值和空格混在一起，一般也注意不到在本来为空的单元格里加入了空格。这就给做数据处理的人带来了麻烦，因为空值和空格都是代表的无数据，而pandas中Series的方法notnull()会把有空格的数据也纳入进来，这样就不能完整地得到我们想要的数据了，这里给出一个简单的方法处理该问题。方法1：既然我们认为空值和空格都代表无数据，那么可以先得到这两种情况下的布尔数组。这里，...
python dataframe drop null值_Python Pandas dataframe.notnull()用法及代码示例
weixin_42314420的博客
01-15 1162
Python是进行数据分析的一种出色语言，主要是因为以数据为中心的python软件包具有奇妙的生态系统。 Pandas是其中的一种，使导入和分析数据更加容易。Pandas dataframe.notnull()功能检测 DataFrame 中的现有/非缺失值。该函数返回一个布尔对象，其大小与其所应用的对象的大小相同，指示每个单独的值是否为na是否有价值。所有非缺失值都映射为true，而缺失值则映射...
sql数据库语言练习，增删改查
11-22 568
数据库创建 DROP DATABASE IF EXISTS `sql_invoicing`; CREATE DATABASE `sql_invoicing`; USE `sql_invoicing`; SET NAMES utf8 ; SET character_set_client = utf8mb4 ; CREATE TABLE `payment_methods` ( `payment_method_id` tinyint(4) NOT NULL AUTO_INCREMENT, ...
python dropna()和notnull()用法差别
偏偏的博客
09-01 6505
定义一个DataFrame data = {'a':[1,2,3,NaN],'b':['l','k','j','k'],'c':['12r','45h','45u','456u']} frame1 = DataFrame(data) print(frame1) print('\n') print(frame1.dropna()) print('\n') print(frame1[frame1.no...
day03 数据预处理
健康平安的活着的专栏
02-18 401
# -*- coding: utf-8 -*- # @File : deal_null_demo.py # @Date : 2020-02-18 16:25 # @Author : admin import pandas as pd from sklearn.cluster import KMeans #获取数据的null值 def p_max_min_null(): da...
Dataframe中NaN值直接replace进入数据库表会报错，填充为None后插入表，表中显示为null
SecondRound93的博客
05-28 3308
当pd.Dataframe中含有NaN值时，用python连接mysql数据库，直接replace进入表会报错 比如有如下dataFrame replace会报错：pymysql.err.InternalError: (1054, “Unknown column ‘nan’ in ‘field list’”) 解决办法： 将DataFrame中的NaN值填充为None后再replace df = df.where(df.notnull(),None) 完整代码如下： import pymysql imp
pandas dataframe 删除带空值的行 各种空值 (dropna()、isna()、isnull()、fillna())
kyle1314608的博客
12-15 1万+
假设拿到一个10万行的数据后，通过isnull我们发现某列有几个空值，要把该列空值所在行删除怎么操作？用dropna()会删除所有有空值的行，请看下面实例。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值