【科研数据处理】DataFrame中标记空值为0，非空值为1

最新推荐文章于 2023-09-17 02:56:53 发布
最新推荐文章于 2023-09-17 02:56:53 发布
阅读量1.8k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： python科研数据处理及绘图 文章标签： python 数据分析 数据标记 dataframe pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lys_828/article/details/117820052
这篇博客介绍了在数据处理中如何使用Pandas DataFrame将空值标记为0，非空值标记为1的方法。通过先填充空值，再替换或者直接利用字符串转化和条件判断来实现这一目标。无论是处理时间类型还是非时间类型的数据，都能找到简单有效的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DataFrame中标记空值为0，非空值为1


手动反爬虫，禁止转载： 原博地址 https://blog.youkuaiyun.com/lys_828/article/details/117820052 

 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息

测试数据如下，可以自己指定，由于在数据处理过程中遇到了需要进行非空的处理

在这里插入图片描述
处理的思路是较为简单的，可以先填充然后在针对非填充的数值再进行替换，需要使用到fillna()的方法，然后就是apply()函数的使用了
在这里插入图片描述
同理对于非时间的转化也是一致
在这里插入图片描述
还有一种方式，我自己较为常用的，就是如论如何都可以对单元进行字符串转化，最后空值也会有字符串的表现形式，然后判断如果不等于这个形式就标记为1，是这个形式就标记为0，比如时间

了解本专栏 订阅专栏 解锁全文 超级会员免费看
使用Pandas将DataFrame中的缺失值映射为0，非缺失值映射为1
m0_47037246的博客
05-06 442
综上所述，我们可以使用Pandas的notnull函数和astype函数将DataFrame中的所有缺失值映射为0，非缺失值映射为1。本文介绍如何使用Python的Pandas库将DataFrame中的所有缺失值映射为0，非缺失值映射为1的方法。接下来，我们使用notnull函数和astype函数将DataFrame中的缺失值映射为0，非缺失值映射为1。可以看到，DataFrame中的缺失值已经被映射为了0，非缺失值被映射为了1。使用Pandas将DataFrame中的缺失值映射为0，非缺失值映射为1。
DataFrame中将空值标记为0，非空值标记为1（Python）
CodeByte的博客
09-18 435
在Python中，pandas库提供了强大的DataFrame数据结构，可以轻松地处理和操作数据。本文将介绍如何使用Python中的pandas库将DataFrame中的空值标记为0，非空值标记为1。现在，我们的DataFrame中的空值被标记为0，非空值被标记为1。现在，我们已经成功将DataFrame中的空值替换为0。总结起来，本文介绍了如何使用Python中的pandas库将DataFrame中的空值标记为0，非空值标记为1。方法来判断DataFrame中的非空值，并将其替换为1。
不为空的值改为0空值填1
何林的博客
09-04 546
df_data[pd.isna(df_data)==False] = 0 df_data[pd.isna(df_data)] = 1 df_data = df_data.astype(np.int32)
空值为0非空为1_数据分析练习1-包含Sklearn逻辑回归、KNN、随机森林；Seaborn可视化...
weixin_39936380的博客
01-12 332
拿到数据之后该怎么分析？此文章将通过实战项目，分享一些最重要的数据分析方法。数据来源：https://www.kaggle.com/jessemostipak/hotel-booking-demand​www.kaggle.com知识点：使用sklearn中的LogisticRegression进行建模使用sklearn.neighbors中的KNeighborClassifier进行建模将分类数...
空值为0非空为1_【Excel一下10】还在手动填充空值？教你快速实现空值的批量填充...
weixin_35143502的博客
01-11 3405
在处理数据时，常常会遇到有很多空值的情况，且这些空值比较分散，没有规律性，那如何批量将空值填充为所需要的数值呢？【例】比如这样一张数据表，如何将表格中的空值批量填充为0呢？1、首先，选择开始菜单--查找和替换--定位条件，或者直接同时按下Ctrl+G，弹出如下定位窗口：2、然后点击选择定位条件为“空值”，点击“定位”，如下图所示：此时，所有的空值就都被定位到了：3、接着输入数字“0”，再...
dataframe 条件取非_有条件地设置DataFrame的非空值
weixin_42520374的博客
12-30 1144
我有一个数据帧：0 1 2 3 4 y35 NaN NaN NaN NaN 0.342153 040 NaN 0.326323 NaN NaN NaN 043 NaN NaN 0.290126 NaN NaN 049 NaN 0.326323 Na...
python中，如果有一个dataframe，里面有一列叫做label，它的值多数为0，少数为1，现在想对label为1的样本过采样，应该怎么做...
weixin_42593701的博客
01-06 323
可以使用 Pandas 的 resample 函数来进行过采样。具体来说，可以先将 label 为 1 的样本进行分组，然后使用 resample 函数进行过采样。例如： df_majority = df[df['label']==0] df_minority = df[df['label']==1] df_minority_upsampled = df_minority.sample(repl...
""" 第一步读取数据，取出我们想要的指标 服务器地址：localhost 数据库:bdpd_rmv 账户名：root 密码：123456 端口：3306 字符编码：'utf8mb4' 表名：RMV_KDSQ_MODEL_INDEX_INFO 提取指定字段:SCORE,BAD_FLAG """ import pandas as pd from sqlalchemy import create_engine import matplotlib as mpl import matplotlib.pyplot as plt import matplotlib.font_manager as fm import numpy as np def calKs(): # 数据库连接配置 db_config = { 'host': 'localhost', # 服务器地址 'port': 3306, # 端口 'user': 'root', # 账户名 'password': '123456', # 密码 'database': 'bdpd_rmv', # 数据库名 'charset': 'utf8mb4' # 字符编码（默认使用utf8mb4） } # 步骤1: 创建数据库连接 # 使用SQLAlchemy创建MySQL连接引擎 # 格式: mysql+pymysql://用户名:密码@主机:端口/数据库名 engine = create_engine( f"mysql+pymysql://{db_config['user']}:{db_config['password']}@{db_config['host']}:{db_config['port']}/{db_config['database']}?charset={db_config['charset']}" ) # 步骤2: 读取数据并提取指定字段 query = "SELECT * FROM RMV_KDSQ_MODEL_INDEX_INFO" # SQL查询语句，获取所有列 data = pd.read_sql(query, engine) # 执行查询并读取到DataFrame # 将列名转换为大写（确保字段名一致性） data.columns = data.columns.str.upper() # 检查数据 print(f"成功读取 {len(data)} 条记录") print(data.head()) # 打印前5行数据（用于调试） # 修复步骤1: 确保所有列使用正确数据类型 # 将SCORE转换为浮点数（无法转换的设为NaN） data['SCORE'] = pd.to_numeric(data['SCORE'], errors='coerce') # 将BAD_FLAG转换为整数（0/1） # 处理非数值数据：无法转换的设为NaN，然后用0填充，最后转换为整数 data['BAD_FLAG'] = pd.to_numeric(data['BAD_FLAG'], errors='coerce').fillna(0).astype(int) # 定义一个新的分组，按照FLAG和MONITOR_DT做分组 cols = ['FLAG', 'MONITOR_DT'] # 分组依据的列 # 按FLAG和MONITOR_DT分组，取每组第一条记录（实际只需要分组标识） modelInfo = data[cols].groupby(by=cols).first().reset_index() # 获取分组标识列表 flag_list = modelInfo['FLAG'].to_list() monitor_list = modelInfo['MONITOR_DT'].to_list() print(flag_list, monitor_list) # 打印分组标识（调试用） # 获取分组数量 modelInfo_len = len(flag_list) # 遍历每个分组 for i in range(modelInfo_len): print(flag_list[i], monitor_list[i]) # 打印当前分组信息 # 筛选当前分组的数据（三种方法） # 方法1: 使用where（不推荐，会保留所有行，不符合条件的设为NaN） # df = data.where((data['FLAG'] == flag_list[i]) & (data['MONITOR_DT'] == monitor_list[i])) # 方法2: 布尔索引（推荐） # df = data[(data['FLAG'] == flag_list[i]) & (data['MONITOR_DT'] == monitor_list[i])] # 方法3: 使用query（当前代码使用的方法） # 注意：字符串类型的值需要加引号，但这里flag_list[i]可能是数值类型，可能导致错误 df = data.query(f"FLAG == '{flag_list[i]}' and MONITOR_DT == '{monitor_list[i]}'") # 选择需要的列（SCORE和BAD_FLAG） df = df[['SCORE', 'BAD_FLAG']] # 步骤2: 按SCORE升序排序（排序后重置索引） df.sort_values('SCORE', ascending=True, inplace=True) df.reset_index(drop=True, inplace=True) # 重置索引，丢弃原索引 # 添加行号（从1开始） df['row_number'] = range(1, len(df) + 1) # 步骤3: 计算基本统计量 total_samples = len(df) # 总样本数 total_bad = df['BAD_FLAG'].sum() # 坏样本总数 total_good = total_samples - total_bad # 好样本总数 # 步骤4: 计算累计值 df['cum_bad'] = df['BAD_FLAG'].cumsum() # 累计坏样本数 df['GOOD_FLAG'] = 1 - df['BAD_FLAG'] # 创建好样本标志（1-BAD_FLAG） df['cum_good'] = df['GOOD_FLAG'].cumsum() # 累计好样本数 # 计算累计占比（避免除零错误） df['cum_bad_pct'] = df['cum_bad'] / total_bad if total_bad > 0 else 0 df['cum_good_pct'] = df['cum_good'] / total_good if total_good > 0 else 0 # 步骤5: 计算KS值（好坏占比差值的最大绝对值） df['cum_diff'] = abs(df['cum_bad_pct'] - df['cum_good_pct']) # 计算每个点的差值 # 找到最大差值（即KS值） ks_value = df['cum_diff'].max() # 找到KS值对应的分数点（使用idxmax获取最大差值的索引） print(i, '找到KS值对应的分数点:', df['cum_diff'].idxmax()) # ks_point = df.loc[df['cum_diff'].idxmax(), 'SCORE'] # ks_point=df.query(f'cum_diff=={ks_value}')['row_number'].to_list()[0] ks_point=np.argmax(df['cum_diff'])+1 # 输出结果 print(f"\nKS值计算结果:") print(f"最大KS值: {ks_value:.4f}") print(f"KS值对应的分数点: {ks_point}") print(df) # 绘图（传入当前分组的相关数据） ks_plot(ks=ks_value, x=df['row_number'], y1=df['cum_bad_pct'], y2=df['cum_good_pct'], ks_point=ks_point, num=i) def ks_plot(ks, x, y1, y2, ks_point, num): """绘制KS曲线图""" # 设置中文字体支持 plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei', 'KaiTi', 'SimSun'] # 常用中文字体 plt.rcParams['axes.unicode_minus'] = False # 解决负号显示问题 # 创建图形 plt.figure(figsize=(10, 6)) # 绘制两条曲线 plt.plot(x, y1, label='累计坏客户占比') # 坏客户累计占比曲线 plt.plot(x, y2, label='累计好客户占比') # 好客户累计占比曲线 # 注释：当前代码中KS点标记被注释掉了 plt.axvline(x=ks_point, color='r', linestyle='--', label=f'KS点(row_number={ks_point})') # 设置图表标题和标签 plt.title(f'KS曲线 (KS值={ks:.4f})') plt.xlabel('样本数') # x轴标签 plt.ylabel('累计占比') # y轴标签 # 添加图例和网格 plt.legend() plt.grid(True) # 保存和显示图像 # plt.savefig(f'ks_{num}.png') # 保存为图片（文件名包含分组编号） plt.show() # 展示图片 if __name__ == '__main__': # 程序入口 calKs() 给我逐行注释
最新发布
07-24
# 处理非数值数据：无法转换的设为NaN，然后用0填充，最后转换为整数 data['BAD_FLAG'] = pd.to_numeric(data['BAD_FLAG'], errors='coerce').fillna(0).astype(int) # 定义一个新的分组，按照FLAG和MONITOR_DT...
python3 数据挖掘 之 爬取 智联招聘网站来巩固pandas
徐代龙的技术专栏
05-02 6758
写在前面 通过使用pandas对智联招聘上的数据进行分析，进一步的了解，熟悉pandas为后面学习数据挖掘打基础 更多学习链接可访问主页： https://blog.youkuaiyun.com/xudailong_blog 运行环境： python3 ，jupyter notebook ## 下面为jupyter notebook上代码（含详细注释） # 数据表基本信...
如何对比两个工作簿中相同工作表的不同
07-01
0,0) '在工作簿1中标记红色cell2.Interior.Color =RGB(255,0,0)'在工作簿2中标记红色diffCount= diffCount +1End IfNext cell1MsgBox"比较完成，共发现" &diffCount& "处差异。" EndSub```方法三：使用Python（使用...
Python pandas.DataFrame 找出有空值的行
12-25
0.摘要 pandas中DataFrame类型中，找出所有有空值的行，可以使用.isnull()方法和.any()方法。 1.找出含有空值的行 方法：DataFrame[DataFrame.isnull().T.any()] 其中，isnull()能够判断数据中元素是否为空值；T为转置；any()判断该行是否有空值。 import pandas as pd import numpy as np n = np.arange(20, dtype=float).reshape(5,4) n[2,3] = np.nan index = ['index1', 'index2', 'index3', '
如何将DataFrame中True/False 全部替换成1/0
热门推荐
寒烟凝
01-15 3万+
现有数据表如下:     现在想把该表中所有的False 变换为0 True变换为1：   最简单的方法是查看所有列的类型，只需将bool类型的列转换为int型即可：其转换语法为：df['cols1']=df['cols1'].astype('int')     批量转换代码如下：    for u in df.columns:     if df[u].dtype==bool:
在 DataFrame 中找出有空值的行（两种情况）
x²＋(y－√³x²)²＝1的博客
03-19 2272
1.找出含有空值的行 方法：DataFrame[DataFrame.isnull().T.any()] 其中，isnull()能够判断数据中元素是否为空值； T为转置； any()判断该行是否有空值。 import pandas as pd import numpy as np n = np.arange(20, dtype=float).reshape(5,4) n[2,3] = np.nan...
pandas dataframe创建_Python数据分析之pandas（一）
weixin_39677538的博客
11-27 120
今天开始，我们将介绍pandas库。pandas的数据结构跟我们常用的表格结构一样，所以理解起来很容易。话不多说，赶紧开始我们的pandas之旅吧。pandas数据结构Series对象在介绍之前，我们先导入numpy和pandas：Series其实就是个带索引的一维数组：如上图，左边一列为默认的索引，右边一列为数值。我们可以通过index和values分别获取索引和数据：当然，可以通过索引来找到对...
DataFrame某一列按照条件筛选，另一列赋值
醉糊涂仙的博客
10-29 1万+
--电压小于95V或者大于110V并且是三相三线的数据vol_if_exception设置为1 --判断条件无论大小一定要用括号括起来，不然会报错 df.loc[((df.vol_avg_daily < 95) | (df.vol_avg_daily > 110)) & (df.wiring_mode == '2'), 'vol_if_exception'] = 1 ...
python给空列表赋值_Python Pandas：如果数据是NaN,则更改为0,否则在数据框中更改为1...
weixin_39624769的博客
11-25 964
你可以使用where和fillna,条件是isnull：df[['age','url']] = df[['age','url']].where(df[['age','url']].isnull(),1).fillna(0).astype(int)print (df)row id name age url0 1 e1 tom 0 11 2 e2 john ...
用一个csv格式的字符串创建dataframe对象
qq_39314099的博客
03-25 2080
pandas提供了很多的方式去创建dataframe，例如接收字典，读取csv或excel格式文件。 在读取本地文件的时候，可以直接调用读取csv的方法，但是多数情况下，csv文件是作为一种模型的训练数据存储在hdfs上，pandas是没有办法直接读取hdfs上的数据的，需要通过hdfs客户端从hdfs上读取文件内容，再想办法转为pandas的dataframe。 之前用的两种方式： 一种是...
如何将DataFrame中的空值标记为0，非空值标记为1？Python代码实现
uote_e的博客
08-12 1902
在数据分析和清洗中，经常需要将DataFrame中的空值进行标记，以便进一步的处理。下面我们来演示如何使用Python代码将DataFrame中的空值标记为0，非空值标记为1。以上就是使用Python代码将DataFrame中的空值标记为0，非空值标记为1的方法。接着，我们使用布尔型索引将所有非0值替换为1。首先，我们需要使用pandas库读取数据文件，并创建一个包含空值的DataFrame。如何将DataFrame中的空值标记为0，非空值标记为1？可以看到，所有的空值都被标记为0，而非空值都被标记为1。
Pandas检测DataFrame中空值的方法及示例分析
DkVhdl的博客
09-17 633
综上所述，本文介绍了使用Pandas检测DataFrame中是否存在空值的常用方法，包括isnull()、notnull()、any()和isna()方法。该方法返回与原DataFrame结构相同的布尔值DataFrame，其中True表示对应位置为非空值，False表示为空值。该方法返回与原DataFrame结构相同的布尔值DataFrame，其中True表示对应位置为空值，False表示不为空值。通过观察可以得知，第一列中的第三个元素（索引为2）为空值，第二列中的第一个元素（索引为0）为空值。
dataframe填充空值为0
07-15
要将DataFrame中的空值（缺失值）填充为0，可以使用`fillna()`方法来实现。以下是一个示例代码： ```python import pandas as pd # 创建示例DataFrame df = pd.DataFrame({'A': [1, None, 3], 'B': [4, None, 6]}) # 填充空值为0 df_filled = df.fillna(0) print(df_filled) ``` 在上述示例中，我们首先创建了一个具有空值的示例DataFrame。然后，我们使用`fillna()`方法将DataFrame中的空值填充为0。最后，我们打印输出填充后的DataFrame。 运行上述代码，你将得到输出结果： ``` A B 0 1.0 4.0 1 0.0 0.0 2 3.0 6.0 ``` 可以看到，原来为空值的位置现在都被填充为了0。 此外，如果你想要在原地修改DataFrame而不是创建一个新的副本，可以将`inplace=True`作为参数传递给`fillna()`方法： ```python df.fillna(0, inplace=True) ``` 这样会直接修改原始的DataFrame对象。 希望对你有所帮助！如果还有其他问题，请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lys_828

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值