Pandas中时间序列缺失如何处理？

最新推荐文章于 2025-03-10 14:57:41 发布
最新推荐文章于 2025-03-10 14:57:41 发布
阅读量7.3k 收藏 41
点赞数 12
分类专栏： pandas小技巧 文章标签： python 数据分析
copy@sandwich
本文链接：https://blog.youkuaiyun.com/qq_35189715/article/details/103568885
版权

补齐时间序列

Table of Contents

处理数据时我们总会遇到令人头疼的时间序列，一方面我们遇到看着是时间又不是时间格式的数据需要我们将其转化为时间格式。另一方面就是这次讨论的时间序列缺失的问题。

👉处理时间格式

  • 准备我们的数据：

数据地址

import numpy as np
import pandas as pd

时间索引缺失如何补齐？

# 数据可以自行下载
file = r'timeseries.csv'
df = pd.read_csv(file, index_col=0)
df
ABCD
2019/10/11 0:0028142515
2019/10/11 1:0011111426
2019/10/11 3:0015121417
2019/10/11 4:0016101412
2019/10/11 6:0024111326
2019/10/11 8:0021292922
2019/10/11 9:0018181725

明显时间索引有缺失的情况，我们可以使用reindex()来处理：

  1. 确保索引是时间格式
  2. 得到完整的时间序列
  3. reindex补齐

为什么要确保时间格式？我们生成的序列要保证时间完整只能使用时间格式，除非自己手动实现复杂的算法。reindex要求两者数据一致，否则你会得到全NAN数据。

df.index

Index(['2019/10/11 0:00', '2019/10/11 1:00', '2019/10/11 3:00',
       '2019/10/11 4:00', '2019/10/11 6:00', '2019/10/11 8:00',
       '2019/10/11 9:00'],
      dtype='object')

# 创建完整的时间格式
t_index = pd.date_range('2019-10-11 00:00:00', '2019-10-11 09:00:00', freq='H')
df.reindex(t_index)
ABCD
2019-10-11 00:00:00NaNNaNNaNNaN
2019-10-11 01:00:00NaNNaNNaNNaN
2019-10-11 02:00:00NaNNaNNaNNaN
2019-10-11 03:00:00NaNNaNNaNNaN
2019-10-11 04:00:00NaNNaNNaNNaN
2019-10-11 05:00:00NaNNaNNaNNaN
2019-10-11 06:00:00NaNNaNNaNNaN
2019-10-11 07:00:00NaNNaNNaNNaN
2019-10-11 08:00:00NaNNaNNaNNaN
2019-10-11 09:00:00NaNNaNNaNNaN

由于CSV文本文件，我们也看到数据类型不对的情况下，全NaN的结果。

  • 重新获取数据，并实现时间格式解析
df = pd.read_csv(file, parse_dates=[0], index_col=0)
df
ABCD
2019-10-11 00:00:0028142515
2019-10-11 01:00:0011111426
2019-10-11 03:00:0015121417
2019-10-11 04:00:0016101412
2019-10-11 06:00:0024111326
2019-10-11 08:00:0021292922
2019-10-11 09:00:0018181725
df.index # 解析成时间格式了

DatetimeIndex(['2019-10-11 00:00:00', '2019-10-11 01:00:00',
               '2019-10-11 03:00:00', '2019-10-11 04:00:00',
               '2019-10-11 06:00:00', '2019-10-11 08:00:00',
               '2019-10-11 09:00:00'],
              dtype='datetime64[ns]', freq=None)
  • 使用完整的时间reindex
df.reindex(t_index)
ABCD
2019-10-11 00:00:0028.014.025.015.0
2019-10-11 01:00:0011.011.014.026.0
2019-10-11 02:00:00NaNNaNNaNNaN
2019-10-11 03:00:0015.012.014.017.0
2019-10-11 04:00:0016.010.014.012.0
2019-10-11 05:00:00NaNNaNNaNNaN
2019-10-11 06:00:0024.011.013.026.0
2019-10-11 07:00:00NaNNaNNaNNaN
2019-10-11 08:00:0021.029.029.022.0
2019-10-11 09:00:0018.018.017.025.0
df.reindex(t_index, fill_value=0) # 使用0填充缺失值
ABCD
2019-10-11 00:00:0028142515
2019-10-11 01:00:0011111426
2019-10-11 02:00:000000
2019-10-11 03:00:0015121417
2019-10-11 04:00:0016101412
2019-10-11 05:00:000000
2019-10-11 06:00:0024111326
2019-10-11 07:00:000000
2019-10-11 08:00:0021292922
2019-10-11 09:00:0018181725

需要补齐的时间序列不是索引？

我们无法保证所有的情况都是使用时间格式作为索引的，那么在这样的情况下我们应该怎么办？

df = pd.read_csv(file, parse_dates=[0], names=list('TABCD'), skiprows=[0])
df
TABCD
02019-10-11 00:00:0028142515
12019-10-11 01:00:0011111426
22019-10-11 03:00:0015121417
32019-10-11 04:00:0016101412
42019-10-11 06:00:0024111326
52019-10-11 08:00:0021292922
62019-10-11 09:00:0018181725

我们手动将时间列命名成"T"

我们可以使用merge()实现：

# 创建一个待混合的数据帧
T_df = pd.DataFrame(t_index, columns=['T'])
T_df
T
02019-10-11 00:00:00
12019-10-11 01:00:00
22019-10-11 02:00:00
32019-10-11 03:00:00
42019-10-11 04:00:00
52019-10-11 05:00:00
62019-10-11 06:00:00
72019-10-11 07:00:00
82019-10-11 08:00:00
92019-10-11 09:00:00
df.merge(T_df, how='right', sort=True)
TABCD
02019-10-11 00:00:0028.014.025.015.0
12019-10-11 01:00:0011.011.014.026.0
22019-10-11 02:00:00NaNNaNNaNNaN
32019-10-11 03:00:0015.012.014.017.0
42019-10-11 04:00:0016.010.014.012.0
52019-10-11 05:00:00NaNNaNNaNNaN
62019-10-11 06:00:0024.011.013.026.0
72019-10-11 07:00:00NaNNaNNaNNaN
82019-10-11 08:00:0021.029.029.022.0
92019-10-11 09:00:0018.018.017.025.0

使用merge的注意点：

  • merge(right)， 中right：T_df必须是数据帧(DataFrame)，而且列名保持一致
  • sort=True: 保证时间序列的正确
  • 这是实现vlookup的翻版，属于讨巧的办法，如果您有更优雅的方式实现请留言，不甚感激！！！
Pandas 如何处理缺失数据？
weixin_70682362的博客
02-01 848
print(df)6. 示例：完整代码以下是一个完整的示例，展示如何处理一个包含缺失值的 DataFrame：Python复制。
Pandas（Python库）：时间序列数据处理
kkchenjj的博客
07-18 1203
时区，是地球上的一个区域采用的统一时间标准，通常基于该区域与格林尼治子午线的经度差异。全球分为24个时区，每个时区相隔15度经度，时间相差1小时。时区的引入，是为了协调不同地理位置的日期和时间，确保全球时间的一致性和可比性。在Pandas中，对象支持时区信息，这在处理跨时区的时间序列数据时尤为重要。时区信息可以使用IANA时区数据库中的时区名称来指定，如或。在Pandas中处理时间序列数据时，正确管理时区信息是确保数据准确性和一致性的关键。通过使用Timestamp对象和其相关方法，如。
python——pandas——date_range函数（时间序列缺失值操作）
huangguohui_123的博客
03-20 2337
pandas.date_range(start=None, end=None, periods=None, freq='D', tz=None, normalize=False, name=None, closed=None, **kwargs) 该函数主要用于生成一个固定频率的时间索引，在调用构造方法时，必须指定start、end、periods中的两个参数值，否则报错。 主要参数说明： ...
用pandas填充时间序列缺失值
小猴子的博客
02-24 2333
用pandas填充时间序列缺失值 例如，下有时间缺失值： Date_time current_demand Temp_Mean humidity_Mean 0 2018-05-01 00:00 15951.0 300.904267 49.600000 1 2018-05-01 00:15 16075.0 300.904267 49.600000 2 2018-05-01 00:30 1
pandas怎样处理日期索引的缺失
听海边涛声
03-10 384
pandas怎样处理日期索引的缺失
Pandas时间序列数据补全
qq_44881930的博客
02-21 682
时间序列数据缺失，将其补全。如下图所示，数据存在缺失秒级的情况。
pandas补全时间序列的值（按日期补全）
weixin_40529493的博客
12-14 5949
现有数据：可见日期不连续 补全后：日期连续，缺失值用0填充 实现方法： data = pd.read_table(r"./origdata/14-03-statics.txt", converters={'acc': str}) data = pd.DataFrame(data) print(data) data['date'] = pd.to_datetime(data['date']) mux = pd.MultiIndex.from_product([data['acc'].unique(), p
Pandas: 2、时间序列处理
qingyuanluofeng的专栏
04-14 881
  #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 4/14/18 4:16 PM # @Author : Aries # @Site : # @File : timeseries_demo.py # @Software: PyCharm ''' pandas时间序列 参考: https://blog....
python pandas 对时间序列文件处理的实例
09-20
Python的Pandas库是数据分析和处理的强大工具，尤其在处理时间序列数据时，它提供了丰富的功能和高效的操作。本文将通过实例详细介绍如何使用Pandas处理时间序列文件。 首先，我们导入必要的库，包括Pandas（用于...
数据科学Pandas库在时间序列数据处理中的全面指南：涵盖基础概念、数据创建与索引、频率转换、缺失值处理、周期性分析及高级功能应用
最新发布
04-07
③学会处理时间序列数据中的特殊问题，如时区转换、周期性与季节性分析、缺失值处理等；④运用高级功能进行复杂的时间序列数据分析，如合并与连接、分组与聚合、高级索引技巧等。 其他说明：本文不仅提供了理论知识...
Python时间序列缺失值的处理方法（日期缺失填充）
09-18
本篇文章将探讨如何在Python中处理时间序列中的日期缺失值，即“时间序列缺失值的填充”。 首先，我们需要确保Python环境中已安装必要的库，如`pandas`和`datetime`。`pandas`库是处理数据集的强大工具，而`...
pandas 的时间列补全，将时间列补全的方法df.reindex
peterlzx1991的博客
07-21 266
【代码】pandas 的时间列补全，将时间列补全的方法df.reindex。
pandas时间序列
J-X的博客
08-23 325
时间序列是一种重要的结构化数据形式。 时间序列的数据意义取决于应用的场景: 1.时间戳(timestamp)  : 特定的时刻 2.固定时期(period),如2018年的8月 3.时间间隔(interval):   由起始的时间戳和结束的时间戳决定.时期（period）可以被看作时间间隔的特列，因为时间间隔过长，可以去这样想 可能我们经常见到或用到的索引就是时间戳。   1.日期和...
pandas常用笔记-清洗数据，补充缺失时间的数据
Smilelulinlin的博客
10-28 872
去重，时间补充
pandas基础一 --------属性、缺失数据处理、时间序列
抱富的博客
04-23 1061
二、DataFrame 1、概念 DataFrame数据表是一种2维数据结构。 其中data、index、columns分别为数据、行索引和列索引 2、创建 使用字典创建(行索引由index决定，列索引由字典的键决定) dict={ 'Province': ['Guangdong', 'Beijing', 'Qinghai', 'Fujian'], 'pop': [1.3, 2.5...
pandas之时间序列 / 缺失值 基础知识
酱紫煲饭~
06-21 6012
Step 1. Import the necessary libraries In [30]: import pandas as pd Step 2. Import the dataset from this address. Step 3. Assign it to a variable called In [31]: url = 'https://raw.githubusercon...
pandas 读CSV时间转换问题的终极解决
qq_58832911的博客
04-24 6794
常见pandas读SCV时间格式转换的问题，和时间object类型的时间的转换丢失精度问得的解决。
python 读csv 数据丢失_通过pandas的read_csv（）读取数据时丢失“秒”信息
weixin_39906499的博客
01-13 1750
我试图读取一个简单的数据，其中几乎只有两列：id和timestamp因为我的时间戳有秒，所以我想保存这些信息。所以我读了很多文章，比如：还有更多。。。。在以下是我在阅读完这里的所有信息后得到的：我首先创建了一个短函数来帮助我解析时间戳数据，然后在调用read_csv()函数时使用它。在def dateparse (timestamp):return pd.datetime.strptime(tim...
Python时间处理
冬风噬雪的博客
04-12 4192
1.带日期文件读取 2.时间重采样 3.时间运算 4.时间字符串转换
如何处理Pandas DataFrame中的缺失值？
04-03
### Pandas DataFrame 中处理缺失值的方法 在数据分析过程中，缺失值是一个常见的问题。Pandas 提供了多种方法来检测、分析以及处理这些缺失值。 #### 1. 检测缺失值 可以使用 `isnull()` 或者 `notnull()` 函数来判断数据框中的哪些位置存在缺失值。`isna()` 和 `notna()` 是它们的同义词[^3]。 ```python import pandas as pd df = pd.DataFrame({ 'A': [1, 2, None], 'B': [None, 5, 6], 'C': [7, 8, 9] }) print(df.isnull()) # 返回布尔矩阵，True表示缺失值的位置 ``` #### 2. 统计缺失值的比例 通过定义一个工具函数，计算每一列中缺失值所占比例: ```python def collect_na_value(dataframe): return dataframe.isna().sum() / dataframe.shape[0] * 100 missing_percentage = collect_na_value(df) print(missing_percentage) # 输出各列缺失值百分比 ``` #### 3. 删除含有缺失值的行或列 如果某些行或者列包含过多的缺失值，可以选择将其删除。可以通过参数控制删除行为： - 使用 `dropna(axis=0)` 删除含任何缺失值的行； - 使用 `dropna(axis=1)` 删除含任何缺失值的列； - 设置 `thresh=n` 参数保留至少有 n 个非空值的行/列[^2]: ```python # 删除缺失值较多的列 (假设阈值为2) threshold = 2 non_missing_count = df.count() filtered_df = df.drop(non_missing_count[non_missing_count < threshold].index.values, axis=1) print(filtered_df) ``` #### 4. 填充缺失值 对于不想丢弃的数据，可以用其他方式填补缺失值。常用的方式包括向前填充 (`ffill`) 和向后填充 (`bfill`)： ##### 向前填充（Forward Fill） 将前面最近的有效观测值复制到当前缺失处[^1]: ```python filled_forward = df.fillna(method='ffill') print(filled_forward) ``` ##### 向后填充（Backward Fill） 用后面最近的有效观测值替换缺失值: ```python filled_backward = df.fillna(method='bfill') print(filled_backward) ``` 还可以指定固定数值进行填充： ```python fixed_fill = df.fillna(value={'A': 0, 'B': -1}) # 对不同列设置不同的默认填充值 print(fixed_fill) ``` #### 5. 插值法填充 插值是一种更复杂的填充技术，适用于时间序列或其他有序数据集。它会基于周围已知点估计未知点的值: ```python interpolated_data = df.interpolate(method="linear") print(interpolated_data) ``` ---
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值