使用np.where或者apply lambda函数结合if else生成新的字段

于 2023-09-05 02:43:05 发布
阅读量361 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ByteLegend/article/details/132682802
Python 专栏收录该内容
252 篇文章 ¥59.90 ¥99.00
订阅专栏
本文介绍了在Python数据分析中，如何使用np.where和apply lambda函数结合if else语句根据条件生成新的字段。通过示例详细解释了两种方法的用法和适用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用np.where或者apply lambda函数结合if else生成新的字段

在Python中，我们经常需要根据条件来生成新的字段或者修改现有字段的值。为了实现这个目标，我们可以使用NumPy库中的np.where函数或者Pandas库中的apply lambda函数结合if else语句。这两种方法都提供了一种灵活的方式来根据条件执行不同的操作。

首先，让我们来介绍np.where函数的用法。np.where函数可以根据条件返回一个新的数组，其中满足条件的元素被替换为一个值，不满足条件的元素保持原样。下面是np.where函数的基本语法：

np.where(condition, x, y)
  • condition：一个布尔数组或者条件表达式，用于指定替换的条件。
  • x：满足条件的元素将被替换为x。
  • y：不满足条件的元素将被替换为y。

接下来，让我们通过一个示例来演示np.where函数的用法。假设我们有一个包含成绩的

了解本专栏 订阅专栏 解锁全文
pandas新字段（数据列）生成、使用np.where或者apply lambda函数结合if else生成新的字段，详解及实战
data+scenario+science+insight
05-03 1446
pandas新字段（数据列）生成、使用np.where或者apply lambda函数结合if else生成新的字段，详解及实战 pandas apply用法： pandas apply方法的作用原理和map方法类似，区别在于apply能够传入功能更为复杂的函数。 pandas apply方法可以用在series上； 有的情况下，agg与transform 不是很适合，这个时候apply方法就来救场了，，，，， 注意：有些方法是dataframe特有的，有些方法是series特有的： .
python数据框 lambda if else语法
qq_45096059的博客
12-27 953
Python末位淘汰 lambda if else
python lambda if elif else
花木兰
01-10 3万+
sourcedf['地区']=sourcedf['exam_district'].apply(lambda x:"全国" if x==1 else ("北京" if x==3 else("上海" if x==24 else "其他地区")) ) lamada(表达式 if 条件 else (表达式 if 条件 else(…………)))...
python apply lambda if_在Pandas中使用Apply Lambda函数和多个if语句
weixin_39613188的博客
11-29 5097
我试着根据像这样的数据框中一个人的大小推断出一个分类：Size1 800002 80000003 8000000000...我希望它看起来像这样：Size Classification1 80000 1bi...我知道理想的过程是应用这样的lambda函数：df['Classification']=df['Size'].apply(lamb...
python之if else条件判断
shufangreal的博客
07-05 208
python之if else条件判断 在python中没有switch case的使用，但是有if else # 在python中，if else是可以嵌套使用的，pass表示什么也不做，保证代码的正确性和完整性 if 3 > 2: print('3 > 2') elif pass else if xxx : print() else: print() ...
pandas数据处理三大重要函数之apply、map与applymap
m0_69435474的博客
04-21 2996
pandas三大数据处理函数apply、map和applymap及numpy中的numpy.where函数
import xarray as xr import numpy as np from scipy.stats import gamma import warnings warnings.filterwarnings('ignore') #%% 基础配置 input_path = r'D:\heatwave\data\precip\precip_merged.nc' output_dir = r'D:\heatwave\data\precip' lat_range = [15, 55] lon_range = [105, 140] #%% 步骤1：数据预处理 def preprocess_data(): # 读取并裁剪数据 ds = xr.open_dataset(input_path) ds_china = ds.sel(lat=slice(lat_range[0], lat_range[1]), lon=slice(lon_range[0], lon_range[1])) # 闰日处理：移除2月29日 ds_china = ds_china.sel(time=~((ds_china['time.month'] == 2) & (ds_china['time.day'] == 29))) return ds_china #%% 步骤2：SPI-30计算函数 def calculate_spi30(precip): # 30天滑动累积（含min_periods确保数据有效性） precip_roll = precip.rolling(time=30, min_periods=30).sum() # Gamma分布拟合函数（增加空数据处理） def gamma_fit(data): # 过滤无效数据 valid_data = data[~np.isnan(data)] if len(valid_data) < 5: # 样本量过少无法拟合 return (np.nan, np.nan, np.nan) try: params = gamma.fit(valid_data, floc=0) return params except: return (np.nan, np.nan, np.nan) # 按年日分组计算参数（修正apply_ufunc参数） precip_group = precip_roll.groupby('time.dayofyear') spi30 = xr.apply_ufunc( lambda x, doy: gamma.cdf(x, *gamma_fit(precip_group[doy.item()].values)), precip_roll, precip_roll['time.dayofyear'], input_core_dims=[['time'], ['time']], output_core_dims=[['time']], vectorize=True, output_dtypes=[float] # 关键修复：显式指定输出类型 ) # 转换为标准正态分布 spi30 = xr.apply_ufunc( lambda x: np.sqrt(2)*np.erfinv(2*x-1) if not np.isnan(x) else np.nan, spi30, dask='parallelized', output_dtypes=[float] ) return spi30.rename('SPI30') #%% 步骤3：主处理流程 def main_process(): # 数据预处理 ds = preprocess_data() # 计算SPI-30 spi30 = calculate_spi30(ds['precip']) # 输出全年SPI spi30.to_netcdf(f'{output_dir}/SPI30_daily.nc') # 提取9月数据 spi30_sep = spi30.where(spi30['time.month'] == 9, drop=True) spi30_sep.to_netcdf(f'{output_dir}/SPI30_September.nc') print("处理完成！输出文件已保存至:", output_dir) #%% 执行程序 if __name__ == '__main__': main_process()对以上代码报错了module 'numpy' has no attribute 'erfinv'，帮我解决并生成完整代码
03-24
然后在lambda函数中使用erfinv而不是np.erfinv。 例如，修改后的代码行应该是： lambda x: np.sqrt(2)*erfinv(2*x-1) if not np.isnan(x) else np.nan, 这样应该可以解决erfinv的问题。 另外，用户可能在环境中的...
import xarray as xr import numpy as np from scipy.stats import gamma from scipy.special import erfinv # 关键修改：使用scipy的erfinv函数 import warnings warnings.filterwarnings('ignore') #%% 基础配置 input_path = r'D:\heatwave\data\precip\precip_merged.nc' output_dir = r'D:\heatwave\data\precip' lat_range = [15, 55] lon_range = [105, 140] #%% 步骤1：数据预处理 def preprocess_data(): # 读取并裁剪数据 ds = xr.open_dataset(input_path) ds_china = ds.sel(lat=slice(lat_range[0], lat_range[1]), lon=slice(lon_range[0], lon_range[1])) # 闰日处理：移除2月29日 ds_china = ds_china.sel(time=~((ds_china['time.month'] == 2) & (ds_china['time.day'] == 29))) return ds_china #%% 步骤2：SPI-30计算函数 def calculate_spi30(precip): # 30天滑动累积（含min_periods确保数据有效性） precip_roll = precip.rolling(time=30, min_periods=30).sum() # Gamma分布拟合函数（增加空数据处理） def gamma_fit(data): valid_data = data[~np.isnan(data)] if len(valid_data) < 5: # 样本量过少无法拟合 return (np.nan, np.nan, np.nan) try: params = gamma.fit(valid_data, floc=0) return params except: return (np.nan, np.nan, np.nan) # 按年日分组计算参数 precip_group = precip_roll.groupby('time.dayofyear') spi30 = xr.apply_ufunc( lambda x, doy: gamma.cdf(x, *gamma_fit(precip_group[doy.item()].values)), precip_roll, precip_roll['time.dayofyear'], input_core_dims=[['time'], ['time']], output_core_dims=[['time']], vectorize=True, output_dtypes=[float] ) # 转换为标准正态分布（关键修改：替换为scipy的erfinv） spi30 = xr.apply_ufunc( lambda x: np.sqrt(2)*erfinv(2*x-1) if not np.isnan(x) else np.nan, spi30, dask='parallelized', output_dtypes=[float] ) return spi30.rename('SPI30') #%% 步骤3：主处理流程 def main_process(): # 数据预处理 ds = preprocess_data() # 计算SPI-30 spi30 = calculate_spi30(ds['precip']) # 输出全年SPI spi30.to_netcdf(f'{output_dir}/SPI30_daily.nc') # 提取9月数据 spi30_sep = spi30.where(spi30['time.month'] == 9, drop=True) spi30_sep.to_netcdf(f'{output_dir}/SPI30_September.nc') print("处理完成！输出文件已保存至:", output_dir) #%% 执行程序 if __name__ == '__main__': main_process()对以上代码报错了NetCDF: Invalid argument: (variable 'lat', group '/')，帮我解决并生成完整代码
最新发布
03-24
lambda x: np.sqrt(2)*erfinv(2*x-1) if not np.isnan(x) else np.nan, spi30, dask='parallelized', output_dtypes=[float] ) return spi30.rename('SPI30') #%% 步骤3：增强型主处理流程 def main_...
python中where的用法_np中where()用法
weixin_39935092的博客
12-06 793
博客园参考地址:https://www.cnblogs.com/oxxxo/p/6129294.htmlPython中numpy的where()函数`第一种用法`np.where(conditions,x,y)if (condituons成立)：数组变xelse:数组变y```import numpy as npx = np.random.randn(4,4)print(np.where(x&gt...
python lambda if else_Python的lambda
weixin_39928106的博客
11-29 2423
if else 可以用简单的三元运算符表示if 1 == 1:name = 'wupeiqi'else:name = 'alex'--》name = 'wupeiqi' if 1 == 1 else 'alex'对于函数也可以lambda来简化表达# ###################### 普通函数 ####################### 定义函数（普通方式）def func(arg...
np.where在pandas中灵活应用如excel的if
m0_66590429的博客
03-27 2287
import pandas as pd from numpy import where as iif d = { '客户名称':['A','B','A','B'], '产品编码':['x', 'y', 'x','y'], '发货数量':[10,20,30,40], '发货日期':['20220101','20220331','20220530','20221231'], } df=pd.DataFrame(d) df['.
lambda 与 if else 函数的用法
G090909的博客
06-18 1万+
sourcedf[‘地区’]=sourcedf[‘exam_district’].apply(lambda x:“全国” if x1 else (“北京” if x3 else(“上海” if x==24 else “其他地区”)) ) 原文：https://blog.csdn.net/weixin_40161254/article/details/86231869 ...
pandas df.apply 和df.applymap 使用lambda函数加if else语句的差别（注意事项）
weixin_55674264的博客
01-20 5886
现在有一个Python程序需要对数据表里数据进行处理，把大于0的值转换为1，小于或等于0的值为0。 打算用pandas 的df.apply()方法加lambda函数对整个数据表进行批量转换，但是在使用的时候发现程序报错： df.apply(lambda x: 1 if x>0 else 0) 错误信息： ValueError: (‘The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any()
在python中如何正确使用 if-else语句 以及 if-elif-else语句
yyh_linux_note的博客
06-28 1785
例题：
python if elif else 区别
kyle1314608的博客
09-03 849
if data_ori=='医疗': # 医疗 df = pd.read_excel(path_apply + 'apply/YS_ZY_HZSQ_样例.xls', encoding='gbk', error_bad_lines=False) df=df[['HZMD']] df=df[~df['HZMD'].isnull()]else: # 中国日报 ...
python有没有三元运算符_Python-Numpy模块where函数
weixin_39618173的博客
11-19 234
1.前言学习过编程语言的话一定知道一个称为"三目运算符"(三元表达式)的东西，一般来说我们可以把它看成是一个简单的"if-else"语句。下面是在java中的三目表达式(其实在大多数的语言中都是这样的)：单目运算符: ~3(位运算符取反码)双目运算符:3 + 4三目运算符: 格式:比较(关系)表达式?表达式1:表达式2; 比...
df.where np.where 与applymap的应用
wj1551854081的博客
09-23 1178
import pandas as pd impodt numpy as np 替换 ①df.where:替换不满足条件的值 ②df.mask :替换满足条件的值 ③np.where:替换满足条件的值 ④df.loc[条件，列名]=替换的值 df.where('cond', 'other', inplace=False) df.mask('cond','other...
【pandas】（七）df.apply（lambda表达式）
热门推荐
醉糊涂仙的博客
04-13 8万+
一、pandas.apply() 1.1遍历DataFrame的元素（一行数据或者一列数据） dataframe.apply(function,axis)对一行或一列做出一些操作（axis=1遍历行，axis=0遍历列） 1.1.1 行遍历 1.1.2 列遍历 默认列遍历 1.2遍历Series的元素（单个数据） 1.3 lambda表达式 函数式编程，使得apply()处理数据时，参数可...
lambda 中if-elif-if用法
猫敷雪
03-27 710
【代码】lambda 中if-elif-if用法。
# 安全写法（带异常处理）： df['日均'] = df.apply(lambda x: x['转换量']/x['出勤天数'] if x['出勤天数']!=0 else np.nan, axis=1) df['日均'] = df['日均'].fillna(0) # 将空值替换为0 print(df['日均']) TypeError Traceback (most recent call last) ~\AppData\Local\Temp\ipykernel_8476\718320178.py in <module> 1 # 安全写法（带异常处理）： ----> 2 df['日均'] = df.apply(lambda x: x['转换量']/x['出勤天数'] if x['出勤天数']!=0 else np.nan, axis=1) 3 df['日均'] = df['日均'].fillna(0) # 将空值替换为0 4 print(df['日均']) TypeError: boolean value of NA is ambiguous
03-08
<think>嗯，用户遇到了一个TypeError的问题，错误信息是“boolean value of NA is ambiguous”。这个问题出现在他们使用apply和lambda函数计算日均值时，特别是当出勤天数为0时用np.nan替代，然后填充为0。我需要先理解错误的原因。 首先，用户写的代码是：df.apply(lambda x: x['转换量']/x['出勤天数'] if x['出勤天数']!=0 else np.nan, axis=1)。问题出在x['出勤天数']!=0这个条件判断上。如果出勤天数列中存在NaN值，那么这个比较就会失败，因为NaN不等于0，也不等于任何数值，所以无法返回一个明确的布尔值，导致TypeError。 接下来，我需要考虑用户的数据情况。可能他们的出勤天数列里有NaN，而不仅仅是0。比如，之前的处理步骤可能没有填充或处理缺失值，导致存在NaN。这时候，当进行x['出勤天数']!=0的比较时，遇到NaN就会抛出错误，因为NaN不能转换为布尔值。 解决方案方面，首先应该确保出勤天数列中的NaN被正确处理。可能需要在计算前将NaN替换为0，或者使用更安全的检查方法，比如pd.notna()来确保数值有效。另外，用户可能希望当出勤天数为0或NaN时，日均值设为0或NaN，再填充为0。所以需要分步骤处理。 另一个方法是使用向量化操作代替apply，这样效率更高。比如，用除法操作，并用where或mask方法来处理分母为0的情况。同时，使用fillna来替换NaN值。 还需要检查数据类型，确保转换量和出勤天数都是数值类型，比如int或float。如果有字符串或其他类型混入，也会导致错误。 最后，应该建议用户在处理前先填充或删除出勤天数中的NaN，然后进行条件判断，或者使用更安全的函数如div和replace来处理除零和NaN的情况。</think>这个错误发生在处理包含缺失值（NaN）的数值型数据时，当尝试进行布尔判断时，系统无法确定如何处理NA值。以下是分步解决方案： **错误分析：** 当`出勤天数`列存在NaN值时，执行`x['出勤天数']!=0`判断会产生歧义： ```python # 当x['出勤天数']为NaN时： np.nan != 0 # 返回<NA>而非True/False ``` **修正方案：** ```python # 1. 先处理缺失值（确保分母没有NaN） df['出勤天数'] = df['出勤天数'].fillna(0) # 将缺失值转为0 # 2. 安全除法（同时处理0和可能的浮点误差） df['日均'] = df.apply( lambda x: x['转换量'] / x['出勤天数'] if x['出勤天数'] > 1e-6 # 使用极小值判断代替 !=0 else 0.0, # 直接返回0避免后续fillna axis=1 ) # 3. 查看结果（可选） print(df['日均'].describe()) ``` **优化方案（推荐向量化计算）：** ```python # 1. 处理缺失值（同时转换类型） df['出勤天数'] = df['出勤天数'].fillna(0).astype(float) # 2. 向量化计算（效率更高） df['日均'] = df['转换量'].div(df['出勤天数'].replace(0, np.nan)).fillna(0) # 原理说明： # - replace(0, np.nan) 将0转换为NaN，使除法自动返回NaN # - fillna(0) 最后统一处理无效结果 ``` **完整异常处理版：** ```python def safe_divide(row): try: # 处理可能的非数值类型 convert = float(row['转换量']) days = float(row['出勤天数']) # 精度控制与有效判断 if abs(days) < 1e-6: # 处理0及极小浮点数 return 0.0 return convert / days except: return 0.0 # 处理所有类型转换错误 df['日均'] = df.apply(safe_divide, axis=1) ``` **关键修改点说明：** 1. **缺失值预处理**： - 使用`fillna(0)`确保分母没有NaN - 通过`astype(float)`保证数据类型一致性 2. **安全判断方式**： - 使用`x['出勤天数'] > 1e-6`替代`!=0`判断，避免浮点数精度问题 - 使用`replace(0, np.nan)`+`fillna(0)`模式，兼容pandas的向量化运算特性 3. **异常捕获**： - 单独封装函数处理类型转换错误 - 使用try-except结构防御非数值型数据 **验证示例：** ```python 测试数据： | 转换量 | 出勤天数 0 | 100 | 5 1 | 50 | 0 2 | 200 | NaN 3 | "abc" | 2 # 字符串异常值 输出结果： 0 20.0 # 100/5 1 0.0 # 50/0 → 0 2 0.0 # 200/NAN → 0 3 0.0 # 字符串转换失败 → 0 ``` **补充建议：** 1. 预处理阶段建议增加数据质量检查： ```python print(df.dtypes) # 确认数值列为数字类型 print(df.isnull().sum()) # 查看缺失值情况 ``` 2. 若需要保留原始空值，可使用： ```python df['日均'] = np.where(df['出勤天数'] > 0, df['转换量']/df['出勤天数'], np.nan) ``` 3. 对结果进行合理性约束（如设置最大值）： ```python df['日均'] = df['日均'].clip(upper=100) # 限制日均不超过100 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值