忽略Numpy中的nan和inf数据

最新推荐文章于 2025-01-03 17:51:43 发布

chenirene510

最新推荐文章于 2025-01-03 17:51:43 发布

阅读量1.1k

点赞数 2

CC 4.0 BY-SA版权

文章标签： numpy python

本文链接：https://blog.youkuaiyun.com/chenirene510/article/details/111318539

一行代码，胜过万语千言。

import numpy as np
a = np.array([1,2,3, np.inf])
b = np.ma.masked_invalid(a)
print b.max()

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chenirene510

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python 借助 NumPy 进行考古数据分析

Python编程之道的博客

06-10

860

考古学作为研究人类历史的重要学科，产生了大量复杂的数据集，包括文物年代、地理坐标、材质成分等多维信息。传统的数据处理方法往往难以应对这些数据的规模和复杂性。本文旨在展示如何利用Python的NumPy库高效处理和分析考古数据，为考古研究提供强有力的技术支持。文章首先介绍考古数据的特性和NumPy的基本概念，然后深入探讨核心算法和数学模型，接着通过实际案例展示应用方法，最后讨论相关工具资源和未来发展方向。考古统计学：应用统计方法分析考古数据的学科年代测定：确定文物或遗址年代的科学技术空间分析。

“Numpy数据分析与挖掘：高效学习重点技能“

光就是羁绊之力，它会再度被某人继承，散发出耀眼的光。

07-10

1139

在计算统计中，如果把nan的值替换为0进行统计，这样并不合适，替换之前的平均值如果大于0，替换之后均值肯定会变小；统计存在有nan的列，将nan的列中其它不等于nan的值进行mean求出均值，：小于15000的赋值为15000，大于等于50000的赋值为50000。：小于15000的赋值为0，大于等于15000的赋值为10。将统计除nan列的均值，再将均值赋值给当前列的nan值上；在数组运算中，不同的列，但是相同的行，是可以进行运算的；1.均匀分布：在相同的大小范围内的出现概率是等可能的；

参与评论您还未登录，请先登录后发表或查看评论

pythonarray去除inf,在Python中使用numpy / scipy忽略数组中的-Inf值

weixin_39827036的博客

12-09

439

I have an NxM array in numpy that I would like to take the log of, and ignore entries that were negative prior to taking the log. When I take the log of negative entries, it returns -Inf, so I will ha...

NaN and Inf

左超

03-30

2048

If in matlab you type 1/0 youll get Warning: Divide by zero. (Type "warning off MATLAB:divideByZero" to suppress this warning.) ans = Infwhich is fair enough - its potentially us

c语言中浮点运算的inf和nan错误

yuanlulu的博客

03-10

2万+

============================================ 作者：yuanlulu http://blog.csdn.net/yuanlulu 版权没有，但是转载请保留此段声明 ============================================ 自己遇到了浮点运算的错误，打印出来获得的浮点数总是inf、-inf、nan。郁闷

pythonarray去除inf_在Python中使用numpy / scipy忽略数组中的-Inf值

weixin_39552179的博客

12-09

385

pythonarray去除inf,Python Pandas：如何删除nan和-inf值

weixin_42520573的博客

12-09

2571

I have the following dataframetime X Y X_t0 X_tp0 X_t1 X_tp1 X_t2 X_tp20 0.002876 0 10 0 NaN NaN NaN NaN NaN1 0.002986 0 10 ...

Python 实现将numpy中的nan和inf,nan替换成对应的均值

09-16

在Python编程中，处理数值型数据时，经常会遇到`NaN`（Not a Number）和`inf`（Infinity）这两个特殊值。`NaN`通常表示未定义或无法计算的数值，而`inf`则表示正无穷大。在数据分析和机器学习领域，这些异常值如果不...

遥感tif图像中如何忽略背景值为NAN或者-inf求均值和最值

心中有梦，眼里有光

03-27

5948

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、背景值为NAN或者-inf的原因？二、解决过程1.背景值的两种情况2.例子总结前言遥感影像由于卫星轨道的原因，经过初步地理校正通常都是倾斜的，存储为数组形式时，会出现部分背景。今天在处理数据时，由于计算波段指数中存在log（x）函数中x存在负值，导致部份非背景像元出现值为空值（NAN）的情况，并且背景像元值为-inf。今天记录下出现这种情况数组的处理方法。图1 遥感影像（黑色部分为背景）一、背景值为NAN或者.

手搓机器学习——基于numpy实现决策树，并对iris数据集进行分类

wzywzyyy的博客

01-03

1025

对决策树的原理进行讲解，并基于numpy实现分类回归树，对iris数据集进行多分类。

pythonarray去除inf_删除Numpy数组中的nan和Infs

weixin_39582569的博客

01-29

3091

有两个阿拉斯像这样：In [1]: arr_1Out[1]:array([[ 0., nan, 2., 3.],[ 4., 5., 6., 7.],[ 8., 9., 10., 11.],[ 12., nan, 14., 15.],[ 16., 17., 18., 19.]])In [2]: arr_2Out[2]:array([[ -0., -1...

pandas缺失值处理

Big brother的博客

07-15

1490

（1）如果想将inf或-inf当成NaN，可以通过以下设置 pandas.options.mode.use_inf_as_na = True

C++的nan、inf

natural_Caduceus

12-14

3440

（ 2022-09-30 00:28:51 编辑完的，雪藏了很久，今天有时间了，把浮点数除法搜来补上）上周地图经纬度出的bug搞得我精疲力竭，总是莫名其妙的就点就飞到不知道哪里去了。qt版本又旧没有isNan函数，愣是找了2天多。最后发现是double数据传递给float出问题了。软件搭架子的工作多了，数值计算这里的经验都空白了，索性记录一下。

去除含有NaN、inf等数值的样本的方法

weixin_30739595的博客

01-22

4703

关于删除数据集中含有NaN、inf等异常值，有很多种方法，在stackoverflow的这个问题下，高票回答中使用的方法 df[~df.isin([np.nan, np.inf, -np.inf]).any(1)] 在某些情况下并不可行，原因在于所使用的isin是基于等号==进行判断数值是否相等的，而在Python中运行np.nan == np.nan时，结果为False,故而在有些数据集下无...

C语言中的nan和inf使用

weixin_30894583的博客

08-12

2131

本文总结nan和inf在C语言当中的含义、产生和判定方法。 C语言当中的nan 表示not a number，等同于 #IND:indeterminate (windows) 产生：对浮点数进行了未定义的操作；对负数开方，对负数求对数，0.0/0.0，0.0*inf、inf/inf、inf-inf这些操作都会得到nan。(0/0会产生操作异常；0.0/0.0不会产生操作异常，...

浮点数NaN和INF(#IND, #INF)

春夜喜雨的专栏

09-10

2万+

NaN&INF定义在一些情况会出现无效的浮点数，例如除0，例如负数求平方根等，像这类情况，获取到的浮点数的值是无效的。 NaN 即 Not a Number 非数字 INF 即 Infinite 无穷大

c++中nan，inf详解

最新发布

08-02

<think>我们要处理DataFrame中a列的inf、-inf和None（或NaN）值。在pandas中，None和NaN通常可以互换使用，而inf和-inf是特殊的浮点值。处理步骤通常包括： 1. 将None/NaN替换为NaN（如果还不是NaN的话） 2. 将inf和-inf替换为NaN 3. 然后可以选择删除这些NaN所在的行，或者用其他值填充以下是具体步骤：步骤1：将None转换为NaN（如果数据中有None，pandas通常会自动转换为NaN，但为了安全，可以确保一下）步骤2：使用`pd.to_numeric`将列转换为数值类型（如果还不是数值类型的话），这样inf和NaN才能被正确处理。步骤3：将inf和-inf替换为NaN 步骤4：处理NaN（删除或填充）注意：如果a列是字符串类型，可能不会包含inf，所以需要先确保是数值类型。方法一：替换并删除NaN 具体代码： ```python import pandas as pd import numpy as np # 假设df是你的DataFrame # 将None转换为NaN（实际上，在pandas中，None在数值列中会自动转为NaN，但非数值列不会，所以这里我们确保a列是数值列） df['a'] = pd.to_numeric(df['a'], errors='coerce') # 将非数值转为NaN，这样None也会变成NaN # 替换inf和-inf为NaN df['a'] = df['a'].replace([np.inf, -np.inf], np.nan) # 现在，删除a列中为NaN的行 df_cleaned = df.dropna(subset=['a']) # 如果不想删除，而是用其他值填充，比如用均值填充，可以这样： # mean_val = df['a'].mean() # 注意：计算均值时忽略NaN # df_filled = df.fillna({'a': mean_val}) ``` 方法二：一步到位替换并删除如果你确定要删除这些行，也可以这样： ```python df_cleaned = df[~( df['a'].isin([np.inf, -np.inf]) | # 选择inf或-inf df['a'].isnull() # 选择None或NaN )] ``` 但是注意，`isin`对于NaN是无效的，所以上面的方法需要结合isnull。而且，在布尔索引中，我们需要用括号确保逻辑正确。更简洁的写法： ```python # 将列转换为数值类型（包含NaN） df['a'] = pd.to_numeric(df['a'], errors='coerce') # 此时，inf已经被转换为NaN吗？不会，所以还需要替换inf df['a'] = df['a'].replace([np.inf, -np.inf], np.nan) # 然后删除NaN df_cleaned = df.dropna(subset=['a']) ``` 或者使用一个条件： ```python df_cleaned = df[~np.isinf(df['a']) & ~df['a'].isnull()] ``` 但是注意：`np.isinf`对于非数值（比如字符串）会报错，所以确保先转换为数值类型（用pd.to_numeric转换后，非数值变为NaN，而NaN不会被np.isinf选中，所以可以安全使用）。因此，我们可以： ```python # 先转换为数值类型（非数值变成NaN） df['a'] = pd.to_numeric(df['a'], errors='coerce') # 然后同时过滤掉inf和NaN # 注意：np.isinf(inf)为True，np.isinf(NaN)为False，所以我们可以分别处理 condition = ~np.isinf(df['a']) & ~df['a'].isnull() df_cleaned = df[condition] ``` 但是，上面的方法中，np.isinf对于NaN返回False，所以我们可以安全地组合条件。然而，更常见的做法是替换inf为NaN，然后统一用dropna删除NaN。总结：推荐使用先转换为数值（errors='coerce'），然后替换inf为NaN，最后用dropna删除。这样步骤清晰。示例代码： ```python import pandas as pd import numpy as np # 创建示例数据 df = pd.DataFrame({ 'a': [1, 2, None, np.inf, -np.inf, 'text', 3.5], 'b': range(7) }) print("原始数据:\n", df) # 步骤1：将a列转换为数值类型，非数值转为NaN df['a'] = pd.to_numeric(df['a'], errors='coerce') # 步骤2：将inf和-inf替换为NaN df['a'] = df['a'].replace([np.inf, -np.inf], np.nan) # 步骤3：删除a列中为NaN的行 df_cleaned = df.dropna(subset=['a']) print("处理后的数据:\n", df_cleaned) ``` 输出结果：原始数据: a b 0 1.0 0 1 2.0 1 2 NaN 2 3 inf 3 4 -inf 4 5 NaN 5 # 字符串'test'被转换为NaN 6 3.5 6 处理后的数据: a b 0 1.0 0 1 2.0 1 6 3.5 6 注意：原始数据中的字符串'test'被转换为NaN，然后被删除。同样，None、inf、-inf都被处理掉了。如果你只想处理inf和None，而不处理其他非数值（比如字符串），那么可能需要先确保数据是数值类型，或者单独处理字符串。但通常，在数据清洗中，非数值数据在数值列中都是需要处理的，所以转换为NaN并删除是合理的。 §§相关问题§§ 1. 在Pandas中，如何处理整个DataFrame所有列中的inf、-inf和None值？ 2. 除了删除含有inf/NaN的行，还有哪些处理缺失值的方法？ 3. 如何用该列的均值或中位数填充NaN值？ 4. 在数据清洗中，如何识别数据中的inf和NaN值？ 5. 如果希望保留非数值数据（比如字符串）而不转换为NaN，应该如何处理a列中的inf和None？</think>要安全地去除 DataFrame 中 a 列的 `inf`、`-inf` 和 `None` 值，可以使用 Pandas 的数值替换和过滤方法。以下是完整解决方案： ```python import pandas as pd import numpy as np # 创建示例数据（实际使用时替换为你的df） data = { 'a': [10, None, np.inf, 15, -np.inf, 20, 25, None, 30], 'b': [1, 2, 3, 4, 5, 6, 7, 8, 9] } df = pd.DataFrame(data) # 方法1：替换为NaN后删除 df_cleaned = df.copy() # 将None和inf替换为NaN df_cleaned['a'] = df_cleaned['a'].replace([None, np.inf, -np.inf], np.nan) # 删除包含NaN的行 df_cleaned = df_cleaned.dropna(subset=['a']) # 方法2：直接过滤（推荐） df_cleaned = df[ ~df['a'].isin([np.inf, -np.inf, None]) # 过滤掉特殊值 & df['a'].notna() # 确保不是NaN（双重保险） ] # 方法3：使用数值范围过滤（适用于纯数值列） if pd.api.types.is_numeric_dtype(df['a']): df_cleaned = df[ (df['a'] > -np.inf) & (df['a'] < np.inf) & df['a'].notna() ] # 验证结果 print("原始数据:") print(df) print("\n清洗后数据:") print(df_cleaned) ``` ### 关键点说明： 1. **替换特殊值为NaN**： ```python df['a'] = df['a'].replace([None, np.inf, -np.inf], np.nan) ``` 2. **删除包含NaN的行**： ```python df.dropna(subset=['a'], inplace=True) ``` 3. **直接过滤（最安全方法）**： ```python df_cleaned = df[~df['a'].isin([np.inf, -np.inf, None]) & df['a'].notna()] ``` ### 注意事项： - 使用 `inplace=True` 会直接修改原 DataFrame - `None` 和 `NaN` 在 Pandas 中通常被同等对待 - 对于大型数据集，`dropna()` 比布尔索引更高效 - 如果列包含字符串，先检查数据类型：`pd.api.types.is_numeric_dtype(df['a'])` ### 替代方案：使用函数封装 ```python def remove_invalid_values(df, col): """移除指定列中的inf/-inf/None/NaN""" return df[ ~df[col].isin([np.inf, -np.inf, None]) & df[col].notna() ] # 使用示例 df_clean = remove_invalid_values(df, 'a') ```