如何处理时间序列的缺失数据

最新推荐文章于 2025-11-03 13:10:39 发布
最新推荐文章于 2025-11-03 13:10:39 发布
阅读量1.5k 收藏 3
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 茶桁的 AI 会员专栏 文章标签： pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ivandoo/article/details/139205853

您是否应该删除、插入或估算？

img

世界上没有完美的数据集。每个数据科学家在数据探索过程中都会有这样的感觉：

df.info()

看到类似这样的内容：

img

大多数 ML 模型无法处理 NaN 或空值，因此如果您的特征或目标包含这些值，则在尝试将模型拟合到数据之前对它们进行适当处理非常重要。

在本文中，我将探讨处理时间序列数据集中的空值/缺失数据的 3 种简单方法。

1. 删除空值

这可能是处理缺失数据最简单、最直接的方法：将其删除。

# 删除所有列中
了解本专栏 订阅专栏 解锁全文 超级会员免费看
时间序列遥感数据插值：缺失日期的处理与重建
kangkangluoluo的博客
10-28 2462
时间序列遥感数据插值是一种有效的方法，用于填补不连续的影像数据。
Python时间序列缺失值处理（日期缺失填充）完全教程-附Python完整例程
物是人非事事休 欲语泪湿春衫袖
10-23 2万+
前言 因近期进行时间序列分析时遇到了数据预处理中的缺失值处理问题，其中日期缺失和填充在网上没有找到较好较全资料，耗费了我一晚上工作时间，所以下面我对这次时间序列缺失值处理学习做了以下小结以供之后同行们参考指正。 时间序列缺失值处理 一、编程前准备         收集时间序列数据，相信看这篇博客的各位已经完成了这步。         需要安装pandas模块，并利用Python的Lib文...
时序数据预处理避坑指南：缺失值和异常值怎么处理？（附 6 种实用方法）
最新发布
qq_25368751的博客
11-03 649
摘要：本文针对时序数据分析中常见的缺失值和异常值问题，提出了6种实用处理方法。针对缺失值，介绍了前向填充（适合短期平稳数据）、线性插值（适合趋势期数据）和季节性填充（适合周期性数据）三种方法。针对异常值，讲解了箱线图法（快速识别）、Z-score法（正态分布数据）和移动标准差法（动态时序数据）三种解决方案，每种方法均附有Python代码实现和应用场景说明。文章通过奶茶店销售数据的实例演示，帮助读者掌握如何根据不同数据特点选择合适的预处理方法，确保后续时序分析建模的准确性。（146字）
Python时间序列缺失值的处理方法（日期缺失填充）
12-25
前言 因近期进行时间序列分析时遇到了数据预处理中的缺失值处理问题，其中日期缺失和填充在网上没有找到较好较全资料，耗费了我一晚上工作时间，所以下面我对这次时间序列缺失值处理学习做了以下小结以供之后同行们参考指正。 时间序列缺失值处理 一、编程前准备 收集时间序列数据，相信看这篇博客的各位已经完成了这步。 需要安装pandas模块，并利用Python的Lib文件夹自带的datetime库（当时我因为在Pycharm环境中没看到datetime模块又去安装了DateTime模块并看了DateTime英文文档，发现这个对象的参数并不能满足时间序列缺失填充的需求，所以又下了datetime2模块，
处理时间序列数据中缺失值的 4 种技术
yyyyyyyyyyy_9的博客
07-21 7728
本文将讨论 4 种可用于估算时间序列数据集中缺失值的技术。最后观测值前向填充（LOCF）、下一个观测值后向填充（NOCB）、滚动统计、插值。
时间序列分析—缺失值处理
qq_38785977的博客
01-21 1万+
时间序列分析—缺失值处理 本文依据知乎大佬的文章 清洗数据 数据清洗是数据分析的一个重要环节，对于时间序列数据也不例外，本节将详细介绍针对时间序列数据的数据清洗方法。 缺失值处理 改变时间频率 平滑数据 处理季节性问题 防止无意识的向前看 缺失值处理 缺失值的出现很常见，例如在医疗场景中，一个时间序列数据出现缺失可能有以下原因： 病人没有遵从医嘱 病人的健康状态很好，因此没必要在每个时刻都记录 病人被忘记了 医疗设备出现随机性的技术故障 数据录入问题 最常用的处理缺失值的方法包括填补（imputat
LSTM-master_LSTM_short_缺失值_时间序列处理_
10-01
本项目“LSTM-master_LSTM_short_缺失值_时间序列处理_”显然是一个专门探讨如何利用LSTM来解决时间序列数据中缺失值问题的实践案例。 LSTM网络设计的核心在于其能够有效地捕获长距离的依赖关系，这得益于其独特的...
移动窗口填补时间序列缺失值（imputeTS的matlab版本）
09-06
移动窗口填补时间序列缺失值（imputeTS的matlab版本），包括简单移动平均值的简单缺失值插补； 线性加权移动平均值的线性缺失值插补； 指数加权移动平均值的指数缺失值插补
Python时间序列缺失日期自动识别与插值补全处理方案
07-13
前言：最近在时间序列分析中遇到缺失值处理，尤其是日期缺失及填充，网上资料零散，折腾一晚才搞定，特作小结供同行参考。 一、编程前准备 已备好时间序列数据。 仅需安装 pandas；datetime 为 Python 标准库，无需...
【时间序列】时间序列数据的缺失填补方法总结
热门推荐
AI蜗牛车
05-20 5万+
在前几次分享中我们知道，很多时序算法都依赖完整的时序数据进行建模，许多业务也需要数据保持完整性，以更好地进行可视化与分析。然而在真实场景中，由于采集能力或网络传输的原因，时序数据常常会有缺...
基于Sas的时间序列缺失值处理方法比较
11-17
对于时间序列挖掘过程中的缺失值处理,目前有许多方法。在处理数据变量成一定的相关的数据集时,回归模型 不失为较好的插补方法。利用均值插补、 一元线性回归、 多元线性回归、 迭代回归方法对水文时间序列数据集的缺失数据 进行处理,比较不同的皮氏相关系数下各方法的优劣及适用性。文中研究表明当数据集中存在与缺值变量相关度较大的 变量时,一元线性回归的插补简单直观,且有较高的精度,结果接近真实;当数据集中不存在与缺值变量显著相关的自变 量时,一元线性回归的结果变差,多元线性回归与多元迭代回归具有较好的结果,但多元迭代回归迭代次数难以确定,插 补代价较大,多元线性回归为最佳选择;当缺值变量与其他自变量相关系数均较小时,回归插补的结果不理想,此时可考 虑其他插补方法。
几个数据缺失处理，时间序列的python包——fancyimpute/impyute/knnimpute/tslearn/
weixin_41512727的博客
10-17 6870
由于项目的需要，对时间序列数据中存在的数据缺失和异常进行处理，所以找到几个类似的python模块，里面有knn等方式填补缺失值的算法。目前正在尝试使用中，后续有案例发上来。 先附上每个包的简介和GitHub： https://pypi.org/project/fancyimpute/ https://github.com/iskandr/fancyimpute https://blog.c...
时间序列数据如何插补缺失值？
一行玩python
12-31 1万+
一行原来就处理过大量的气象数据，对于缺失的数据处理，我充满了同感 这里介绍一下，我们当时有哪几种方法处理缺失值 直接删除，如果缺失数据量较大，直接舍弃该列数据，因为仅存的数据难以证明几列数据之间的相关性 上下填补法，取前后临近的数据进行插值 前后加权均值法，按照前后时间距离的远近进行加权取平均差值 相似值填补法，取其他相似环境的数据进行插值 线性插值法，将相关数据拟合成一条函数，然后对缺失值进行插值 当然除了上面这五种，业内还有很多其它插值法，如下面这些 (1)人工填写(filling manual.
时间序列数据的常见处理处理
m0_46163065的博客
05-04 2274
“”" 时间序列数据的处理 “”" 平稳性：即要求经由样本时间序列所得到的拟合曲线，在未来的某一段时期内仍能顺着现有的形态惯性的延续下去。 date_range:可以指定时间和周期 H、D、M 例: rng = pd.date_range(“2017/7/1”,periods=10,freq=“3D”) time = pd.Series(np.random.randn(20),index=pd...
处理医学时间序列中缺失数据的3种方法
deephub
08-24 4324
这些方法都是专为RNN设计，它们都经过了广泛的学术评估，而且十分的简单
时间序列空缺值填补
egoistor的博客
07-24 633
时序缺失值填补
pandas之时间序列 / 缺失值 基础知识
酱紫煲饭~
06-21 6038
Step 1. Import the necessary libraries In [30]: import pandas as pd Step 2. Import the dataset from this address. Step 3. Assign it to a variable called In [31]: url = 'https://raw.githubusercon...
时间序列数据缺失处理
10-05
所给参考引用中未提及时间序列数据缺失的处理方法。一般常见的时间序列数据缺失处理方法有以下几种： ### 插值法 - **线性插值**：假设在两个已知数据点之间，数据呈线性变化。例如，已知时间点 $t_1$ 和 $t_2$ 对应的值分别为 $y_1$ 和 $y_2$，要估计时间点 $t$（$t_1 < t < t_2$）的值 $y$，则可根据线性关系 $y = y_1+\frac{(y_2 - y_1)(t - t_1)}{t_2 - t_1}$ 计算。 ```python import numpy as np import pandas as pd # 创建包含缺失值的时间序列 data = [10, np.nan, 30, 40] time_index = pd.date_range(start='2024-01-01', periods=4, freq='D') ts = pd.Series(data, index=time_index) # 线性插值 ts_interpolated = ts.interpolate(method='linear') print(ts_interpolated) ``` - **样条插值**：使用多项式样条函数来拟合数据点之间的曲线，能更好地捕捉数据的局部变化特征。 ```python # 样条插值 ts_spline_interpolated = ts.interpolate(method='spline', order=2) print(ts_spline_interpolated) ``` ### 填充法 - **前向填充**：使用前一个非缺失值来填充当前的缺失值。这种方法简单直接，但可能会导致数据的滞后性。 ```python # 前向填充 ts_ffilled = ts.fillna(method='ffill') print(ts_ffilled) ``` - **后向填充**：使用后一个非缺失值来填充当前的缺失值。 ```python # 后向填充 ts_bfilled = ts.fillna(method='bfill') print(ts_bfilled) ``` ### 模型法 - **基于机器学习模型**：可以使用回归模型（如线性回归、随机森林回归等），将有值的时间点数据作为特征，预测缺失点的值。 ```python from sklearn.ensemble import RandomForestRegressor # 提取有值和缺失值的索引 non_missing_index = ts[~ts.isna()].index missing_index = ts[ts.isna()].index # 准备训练数据 X_train = np.array([i for i, _ in enumerate(ts[non_missing_index])]).reshape(-1, 1) y_train = ts[non_missing_index].values # 训练随机森林模型 model = RandomForestRegressor() model.fit(X_train, y_train) # 准备测试数据 X_test = np.array([i for i, _ in enumerate(ts[missing_index])]).reshape(-1, 1) # 预测缺失值 y_pred = model.predict(X_test) # 填充缺失值 ts_model_filled = ts.copy() ts_model_filled[missing_index] = y_pred print(ts_model_filled) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茶桁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值