pandas 小技巧——用指定列的“非空值”值去填充另一列的“空值”

最新推荐文章于 2025-02-27 09:29:15 发布
原创 最新推荐文章于 2025-02-27 09:29:15 发布 · 1.6w 阅读 · 51 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

举例：有df如下

>import numpy as np
>df = pd.DataFrame({"name":["apple", "pear", "pig", "dog", "cat"], "number_1":[1,np.nan,3,np.nan,5], "number_2":[np.nan, 2,3,4,5]})
>print(df)

    name  number_1  number_2
0  apple       1.0       NaN
1   pear       NaN       2.0
2    pig       3.0       3.0
3    dog       NaN       4.0
4    cat       5.0       5.0

要求：将number_1中的空值用number_2中的非空值进行填充。方法如下：

>df["number_1"].fillna(df["number_2"], inplace=True)
>print(df)

    name  number_1  number_2
0  apple       1.0       NaN
1   pear       2.0       2.0
2    pig       3.0       3.0
3    dog       4.0       4.0
4    cat       5.0       5.0
100天精通Python（数据分析篇）——第68天：Pandas数据清洗函数大全（判断缺失、删除空值、填补空值、替换元素、分割元素）
努力让自己发光，对的人才能迎着光而来
12-12 1万+
一、drop()：删除指定行列 1. 删除指定行 2. 删除指定列 二、del()：删除指定列 三、isnull()：判断是否为缺失 1. 判断是否为缺失 2. 判断哪些列存在缺失 3. 统计缺失个数 四、notnull()：判断是否不为缺失 五、dropna()：删除缺失值 1. 导入数据 2. 删除含有NaN值的所有行 3. 删除含有Na
Pandas空值识别,空值填充,空值过滤方法超详细解读
bbaaa123的博客
09-28 3085
Pandas空值识别,空值填充,空值过滤方法详解,isnull(),notnull(),fillna(),interpolate(),dropna()
pandas对指定列进行填充的方法
09-20
下面小编就为大家分享一篇pandas对指定列进行填充的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python-pandas的fillna()方法-填充空值
热门推荐
qq_17753903的博客
05-06 20万+
0.摘要 pandas中fillna()方法，能够使用指定的方法填充NA/NaN值。 1.函数详解 函数形式：fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs) 参数： value：用于填充的空值的值。 method：{'backfill',...
pandas 用一列的非空值去填充另一列对应的空缺值
weixin_42792528的博客
06-15 1560
用一列的非空值去填充另一列对应的空缺值
pandas将某一列的空值补全为0
happy_wealthy的博客
01-18 1万+
mydf['列名']=mydf['列名'].fillna(0)
pandas 使用均值填充缺失值列的小技巧分享
09-19
### pandas使用均值填充缺失值列的小技巧分享 在数据预处理阶段，处理缺失值是一项非常重要的任务。缺失值的存在可能会导致模型训练不准确或预测结果偏差等问题。Python中的pandas库提供了强大的数据处理功能，其中...
pandas 取excel 中的某一列_干货Python Pandas 做数据分析之玩转 Excel 报表分析
weixin_39517241的博客
11-20 6439
本篇文章选自作者在 GitChat 的分享，若有什么问题，可在公众号回复「小助手」添加小助手微信，邀请你进入技术交流群。各位朋友大家好，非常荣幸和大家聊一聊用 Python Pandas 处理 Excel 数据的话题。因为工作中一直在用 Pandas，所以积累了一些小技巧，在此借 GitChat 平台和大家分享一下心得。在开始之前我推荐大家下载使用 Anaconda，里面包含了 Spyd...
【高级筛选技巧】：pandas中的条件选择术——行与列的智慧
[【高级筛选技巧】：pandas中的条件选择术——行与列的智慧](https://cdn.educba.com/academy/wp-content/uploads/2020/04/Python-Pandas-Join.jpg) # 摘要 本文对pandas库中的数据筛选技术进行了深入的探讨和实践...
【第4章Pandas实战案例与解析 清洗数据】4.211 深度解析：精通Pandas中使用fillna()实现自动向上填充NaN
02-27 631
在数据处理过程中，缺失值（通常以NaN表示）是一个常见的问题。有效地管理和填充这些缺失值对于确保数据分析结果的准确性和可靠性至关重要。本部分将深入探讨Pandas库中使用fillna()函数实现自动向上填充NaN值的方法及其背后的机制。NaN是Not a Number的缩写，在Python和Pandas中用于表示缺失或未定义的数据点。它是一个特殊的浮点数，可以通过numpy.nan生成。
pandas根据条件去填写另一列值
weixin_42583683的博客
02-13 738
如果你想根据某个列的条件去填写另一列的值，可以使用pandas的np.where()函数。这个函数可以根据一个布尔数组来决定哪些值应该使用指定的值填充。 具体的，你可以这样做： df['new_column'] = np.where(df['column_to_check'] >= condition, 'value_if_true', 'value_if_false') 在这个例子中，如...
pandas技巧：用一列的非空值填充另一列对应行的空值
qinxiaowen2014的博客
07-17 1万+
利用数据框df的name列中的非空值，去填充df的features_1列中对应的NaN。 很容易写出df[df['features_1'].isnull()]['features_1'']=df[df['features_1'].isnull()][‘name’] ,但是会给出以下警告： A value is trying to be set on a copy of a slice from...
Pandas学习——空值填充
m0_50470999的博客
09-14 7534
处理默认值 pandas默认采用NaN作为默认值，np.nan和None也被视为默认值。 python之间None可以比较，结果为True，而np.nan比较结果是false >>> None == None True >>> np.nan == np.nan False 可以通过fillna()函数来填充默认值，如df.fillna(1) 参数 备注 value 用于填充的空值的值 method {‘backfill’, ‘bfill’, ‘pa
pandas | DataFrame基础运算以及空值填充
pdcfighting的博客
09-09 1万+
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤嫦娥应悔偷灵药， 碧海青天夜夜心。今天是pandas数据处理专题的第四篇...
惊！pandas一行代码实现将后列的数据填充到前列
菜鸟IT女
06-21 1713
需求 数据如下，我想把两列合并进行合并。怎么实现？ 思考及实现 获取前列为空值的行索引 通过行索引取出后列的值，再赋值给前列为空的值 代码实现如下： import pandas as pd # 创建数据 data = [[1,None],[None,3],[4,None],[None,6]] df = pd.DataFrame(data,columns=["A","B"]) df # 获取A列为空的行索引 idx = df[df["A"].isnull()].index # 通过行索引取出后列
pandas填充制定列的缺失值
呆萌的代Ma
05-24 1万+
方法 使用： dataframe['某一列'].fillna(0, inplace=True) 案例 import pandas as pd df = pd.DataFrame([[1, None, 3], [2, 3, None], ], columns=['a', 'b', 'c']) a b c 0 1 nan 3 1 2 3 nan 填充b列： df['b'].fillna(0, inplace=True) a b c
python Dataframe 用非空值列代替空值列
m0_64922572的博客
01-31 410
data['文件类型单选'].fillna(data['文件类型'],inplace=True)#用’文件类型‘非空值代替’文件类型单选‘的空值，inplace=True表示在原数据上操作。
DataFrame填充缺失值，用其它列填充缺失值
菜的抠脚的博客
06-23 1万+
填补缺失值，前一列向后填充 def fillother(a): b = a.fillna(0) w = [] #防止列索引格式不一致 for m in b.columns: m = str(m) w.append(m) #b.columns = ['省', '市', 2010, 2011, 2012, 2013, ...
Python开发之二维数组空缺值的近邻填充
等待着冬天的风的博客
10-18 664
前言：主要实现二维数据里面某一个数据的缺失，用缺失的近邻数据进行均值填充，可以应用在遥感图像中空缺值的填充等。
写一个可运行程序，把数据复制在表格中，数据有n行m列，首先将数据变为一个数组，非空非数字单元格赋值为0，空值去除，计算布长为60个数的滑动累加值，输出最大值
最新发布
06-20
<think>我们面临的任务是：1.读取一个n行m列的表格数据（可能是CSV、Excel或其他格式，但问题未指定，这里假设为CSV）2.将表格转换为二维数组（矩阵）3.将非数字单元格设为0，移除空值（这里移除空值可能是指将空值替换为0，因为后续要计算累加值）4.然后，对于每一列，计算一个长度为60的滑动窗口的累加值，并找出所有列中滑动窗口累加的最大值（注意：滑动窗口是沿着每一列从上到下移动）步骤：1.读取表格数据：使用pandas库可以方便地处理表格数据。如果用户没有安装pandas，也可以使用csv模块，但pandas处理非数字和空值更方便。2.将非数字转换为0，空值也转换为0：使用pandas的fillna和applymap可以做到。3.转换为二维数组：之后我们可以使用numpy数组进行计算，因为numpy有高效的滑动窗口函数。4.计算滑动窗口累加的最大值：对于每一列，我们计算长度为60的滑动窗口的累加值（即每连续60行的和），然后找出整个矩阵中所有列的最大值。但是，注意滑动窗口的长度为60，如果一列的行数不足60，那么可能没有有效的窗口（我们可以忽略，或者取全部元素的和？但题目没有说明，我们按照忽略处理，即要求行数至少为60）。由于题目要求用Python或Java，这里我们用Python实现（因为Python在数据处理方面更简洁）。如果用户没有安装pandas和numpy，可能需要先安装。实现思路：-使用pandas读取表格（假设为CSV）-用fillna(0)填充空值-然后使用applymap，对于每个单元格，如果能够转换为数字则转换，否则转换为0。但注意：如果表格中已经有数字类型，那么直接转换即可；如果有字符串类型的数字，我们也需要转换。我们可以使用pd.to_numeric(...,errors='coerce')将整个数据框转换为数字，非数字转换为NaN，然后再用0填充。具体步骤：1.读取CSV文件2.将整个数据框转换为数值类型，非数值设为NaN，然后用0填充3.转换为numpy数组4.对于每一列，使用滑动窗口计算累加和（使用numpy的卷积函数或者使用pandas的rolling函数，或者自己用循环？但循环效率低，我们使用numpy的卷积或者cumsum和切片结合的方法）注意：滑动窗口累加和可以通过以下方式高效计算：先计算累积和：S[i]=a[0]+a[1]+...+a[i-1]然后窗口[i,i+60)的和为S[i+60]-S[i]因此，我们可以：对每一列，计算累积和（包括一个0在开头）然后计算窗口和=累积和[60:]-累积和[:-60]然后找出该列的最大窗口和最后比较所有列的最大值但是注意：如果列的长度小于60，则跳过该列（或者该列不产生有效窗口，那么最大值可能是负无穷，但这里我们只考虑长度>=60的列）由于每一列独立处理，我们遍历每一列。代码结构：1.读取数据2.数据清洗（非数字和空值转为0）3.转换为numpy数组（假设为arr，形状为n行m列）4.初始化一个变量max_value=-inf5.遍历每一列（列索引j从0到m-1）：col=arr[:,j]#获取该列#如果该列长度小于60，跳过（或者记录为无效？但题目要求长度为60的窗口，所以跳过）iflen(col)<60:continue#计算该列的累积和，包括0开始S=np.zeros(len(col)+1)S[1:]=np.cumsum(col)#S[0]=0,S[1]=col[0],S[2]=col[0]+col[1],...S[n]=所有元素和#计算窗口和：从索引0到n-60，窗口和=S[i+60]-S[i]foriinrange(0,len(col)-59)window_sums=S[60:]-S[:len(col)-60]#注意：S的长度是n+1，所以S[60:]从索引60到n，S[:len(col)-60]从0到n-60，长度一致#找出该列的最大窗口和max_in_col=window_sums.max()ifmax_in_col>max_value:max_value=max_in_col6.输出max_value注意：如果所有列都小于60，那么max_value将保持初始值（负无穷），我们可以输出一个提示。但是，问题要求是“滑动窗口累加的最大值”，所以如果没有任何列有60个有效数据，我们可以返回None或者报错。另外，我们也可以考虑跨列的最大值，但题目没有要求具体是哪个窗口，所以只需要最大值。如果用户没有pandas和numpy，我们可以使用纯Python实现，但效率会低一些。这里给出两种方法：方法一：使用pandas和numpy（推荐）方法二：纯Python由于问题没有指定，我们先给出使用pandas和numpy的方法，然后给出纯Python方法。假设输入文件是CSV格式。方法一（使用pandas和numpy）："""importpandasaspdimportnumpyasnpdefmax_sliding_window_sum(file_path,window_size=60):#读取CSV文件，假设没有表头，如果有表头，需要添加header参数df=pd.read_csv(file_path,header=None)#将所有数据转换为数值，非数值转换为NaNdf=df.apply(pd.to_numeric,errors='coerce')#将NaN填充为0df=df.fillna(0)#转换为numpy数组arr=df.valuesn,m=arr.shape#如果整个表格行数小于window_size，返回Noneifn<window_size:returnNonemax_value=-np.inf#遍历每一列forjinrange(m):col=arr[:,j]#计算累积和，包括0S=np.zeros(n+1)S[1:]=np.cumsum(col)#计算窗口和window_sums=S[window_size:]-S[:n-window_size+1]#注意：这里窗口从0到n-window_size，所以有n-window_size+1个窗口？#实际上，S[window_size:]从S[window_size]到S[n]，共n-window_size+1个元素（从索引window_size到n）#而S[:n-window_size+1]是从S[0]到S[n-window_size]，共n-window_size+1个元素#所以相减得到从i=0到i=n-window_size的窗口和#找出该列的最大窗口和iflen(window_sums)>0:max_in_col=window_sums.max()ifmax_in_col>max_value:max_value=max_in_colreturnmax_valueifmax_value!=-np.infelseNone#使用示例result=max_sliding_window_sum('data.csv')print(result)"""注意：上面的累积和计算中，S[window_size:]-S[:n-window_size+1]的长度是n-window_size+1，但注意我们的S数组长度为n+1，所以切片是合法的。但是，如果n==window_size，那么window_sums的长度为1，即整个列的和。方法二：纯Python如果不使用pandas和numpy，我们可以用csv模块读取，然后自己处理。步骤类似：1.读取CSV文件2.将每一行每一列的值尝试转换为数字，失败则置03.构建二维列表4.对每一列计算累积和，然后计算窗口和，并追踪最大值代码："""importcsvdefconvert_value(x):try:returnfloat(x)except:return0.0defmax_sliding_window_sum_pure(file_path,window_size=60):data=[]withopen(file_path,'r')asf:reader=csv.reader(f)forrowinreader:#处理每一行，将每个元素转换converted_row=[convert_value(x)forxinrow]data.append(converted_row)#如果数据为空ifnotdata:returnNonen=len(data)m=len(data[0])ifn<window_size:returnNonemax_value=float('-inf')#遍历每一列forjinrange(m):col=[data[i][j]foriinrange(n)]#取出第j列#计算累积和，长度为n+1，S[0]=0,S[i]=col[0]+...+col[i-1]S=[0.0]*(n+1)foriinrange(1,n+1):S[i]=S[i-1]+col[i-1]#计算窗口和window_sums=[]foriinrange(0,n-window_size+1):window_sum=S[i+window_size]-S[i]window_sums.append(window_sum)ifwindow_sums:#如果该列有窗口和max_in_col=max(window_sums)ifmax_in_col>max_value:max_value=max_in_colreturnmax_valueifmax_value!=float('-inf')elseNone#使用示例result=max_sliding_window_sum_pure('data.csv')print(result)"""注意：这里假设表格每一行的列数相同。如果不同，我们可能需要处理，但题目说是n行m列，所以假设矩形。另外，在纯Python版本中，我们使用csv.reader读取，如果表格有表头，需要跳过第一行（但题目没有说，所以按没有表头处理）。如果有表头，可以在读取时跳过。问题：用户要求“移除空值”，我们在两个版本中都将空值和非数字设为了0，这符合要求。最后，我们输出整个表格中所有列在长度为60的滑动窗口下的累加最大值。如果用户需要的是每一列的最大值，然后取最大值，那么我们的做法正确。但是，如果用户要求的是整个表格中任意一个60行连续窗口的所有列的和的总和的最大值？但是题目描述是“滑动窗口累加的最大值”，没有明确是每一列独立还是整个表格。根据常见需求，通常是按列独立计算（因为列代表不同指标），然后取最大值。但题目没有明确，我们按照列独立计算。如果要求整个表格的滑动窗口（即一个窗口包含60行所有列）的总和，那么我们需要计算每一行的总和，然后对总和这一列计算窗口累加和。但题目没有说，所以我们按照列独立处理。现在，根据用户问题，我们给出Python代码（两种版本），并解释。相关问题：1.如果数据量很大，如何优化滑动窗口累加的计算？2.如何处理表格中的空值和非数字值？3.滑动窗口累加的最大值有什么应用场景？</think>### 表格数据处理与滑动窗口累加最大值计算 我将逐步解释如何用Python实现您的需求，包括数据转换、清洗和滑动窗口计算。以下是完整解决方案： #### 解决方案步骤 1. **读取表格数据**：使用pandas读取CSV/Excel等格式的表格 2. **数据清洗**： - 将非数字单元格转换为0 - 移除空值（实际转换为0） 3. **转换为数值矩阵**：创建二维数组 4. **滑动窗口计算**： - 对每列计算长度为60的滑动窗口累加值 - 找出所有列中的最大累加值 #### Python实现代码 ```python import pandas as pd import numpy as np def calculate_max_sliding_sum(file_path, window_size=60): """ 处理表格数据并计算滑动窗口累加最大值 参数: file_path: 表格文件路径(CSV/Excel) window_size: 滑动窗口大小(默认60) 返回: 所有列中滑动窗口累加的最大值 """ # 1. 读取表格数据 if file_path.endswith('.csv'): df = pd.read_csv(file_path) else: # 支持Excel等其他格式 df = pd.read_excel(file_path) # 2. 数据清洗: 非数字转0，空值转0 df = df.apply(pd.to_numeric, errors='coerce').fillna(0) # 3. 转换为数值矩阵(二维数组) data_matrix = df.values # 4. 滑动窗口计算 max_window_sum = float('-inf') # 初始化为负无穷 # 遍历每一列 for col_idx in range(data_matrix.shape[1]): column = data_matrix[:, col_idx] # 计算当前列的滑动窗口累加 cumulative = np.cumsum(column) # 计算累积和 # 计算窗口累加: S[i] = cumulative[i+window] - cumulative[i] window_sums = cumulative[window_size:] - cumulative[:-window_size] # 更新全局最大值 if window_sums.size > 0: col_max = np.max(window_sums) max_window_sum = max(max_window_sum, col_max) return max_window_sum if max_window_sum != float('-inf') else 0 # 使用示例 if __name__ == "__main__": result = calculate_max_sliding_sum("data.csv") print(f"滑动窗口累加的最大值为: {result}") ``` #### 关键代码解析 1. **数据清洗处理**： ```python df = df.apply(pd.to_numeric, errors='coerce').fillna(0) ``` - `pd.to_numeric`将非数字转为NaN - `fillna(0)`将NaN转为0[^1] 2. **高效滑动窗口计算**： ```python cumulative = np.cumsum(column) # O(n)时间计算累积和 window_sums = cumulative[window_size:] - cumulative[:-window_size] # 窗口累加 ``` 使用累积和技巧，将时间复杂度从O(n×k)优化到O(n)，k为窗口大小[^1] 3. **边界处理**： - 自动跳过行数不足窗口大小的列 - 返回0当所有列数据不足 #### 测试用例示例 假设输入表格(`data.csv`): ``` A,B,C 1,5,x ,7,3 2,,8 4,6,2 ``` 处理流程： 1. 清洗后矩阵： ```python [[1.0, 5.0, 0.0], [0.0, 7.0, 3.0], [2.0, 0.0, 8.0], [4.0, 6.0, 2.0]] ``` 2. 窗口大小=2时： - B列窗口累加值: [7+0=7, 0+6=6] → 最大值7 - 最终结果: 7 #### 性能优化 1. 使用向量化操作替代循环 2. 累积和算法降低时间复杂度 3. 内存优化：逐列处理避免全矩阵加载 **注意**：实际使用时需安装依赖： ```bash pip install pandas numpy openpyxl ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值