pandas对时间索引进行分割（truncate requires a sorted index）

最新推荐文章于 2025-01-06 17:54:34 发布
原创 最新推荐文章于 2025-01-06 17:54:34 发布 · 6.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pandas #truncate #loc #bug #truncate requires a sorted index

本文探讨了在Pandas中使用truncate方法进行时间序列数据截取时的注意事项，包括索引排序的重要性及与loc切片方法的区别。通过实例说明如何正确截取近1个月、3个月或6个月的数据进行统计分析。

情景

开发时碰到需要截取近1个月，近3个月，近6个月的数据，进行统计分析
使用truncate对df进行数据集截取，遇到截取数据不符合预期，且若时间序列无序会抛出异常

挖一挖

  • 使用truncate时的索引必须先进行排序，不然会报错truncate requires a sorted index
  • 源码一进truncate方法就会检测index是否经过排序，没有排序，报错pandas truncate 方法源码
  • 极端情况，若时间序列只有两个的时候不会报错，但是结果会不符合预期不和预期图片
    预期是截取掉2018-08-24之后的数据，结果却正好相反，保留了2018-08-24之后的数据 排序之后再截取，就是预期的结果了

再挖一挖

truncate 与loc切片方法的切别： truncate未指定的话默认0值，loc分片未指定的话默认部分匹配源码注释truncate vs loc

  • 同是截取掉2018-08-31之后的数据
  • truncate，默认值为0，截取至“2018-08-31 00：00：00”（包含该值）
    只包含”2018-08-31 00：00：00“
  • loc，只要匹配上就行，只要是“2018-08-31”的都匹配上
    包含“2018-08-31”全天的值

作者：Chihwei_hsu
来源：http://chihweihsu.com
Github：https://github.com/HsuChihwei

Pandas使用split函数切分日期数据以获取年、月、日信息
YOLOv3333的博客
09-13 1199
在数据分析和处理中，经常需要对日期数据进行拆分，以便获取其中的年、月、日等信息。其中，split函数是一种常用的方法，可以将日期字符串拆分为多个部分，例如年、月、日。本文将介绍如何使用Pandas的split函数来获取日期数据的年、月、日信息，并提供相应的源代码示例。最后，将获取到的年、月、日信息分别赋值给DataFrame的新列"year”、“month"和"day”。从输出结果中可以看出，成功地将日期字符串拆分为年、月、日三个部分，并将它们存储在DataFrame的新列中。上述代码中，首先使用。
Pandas利用split方法切分日期获取年、月、日
PlHtml的博客
09-20 1015
除了使用split方法切分日期外，Pandas还提供了许多其他处理日期的方法，例如to_datetime用于将字符串转换为日期型数据，date_range用于生成日期范围等。总结起来，通过使用Pandas中的split方法，我们可以轻松地将日期拆分为年、月、日等部分，方便后续的数据分析和计算。运行以上代码后，DataFrame中将新增三列，分别为"year"、“month"和"day”，分别存储了拆分后的年、月、日数据。可以看到，日期已成功拆分为年、月、日三部分，并以新的列形式存储在DataFrame中。
深入解析Pandas的Series与DataFrame索引和切片操作（三）
小高~的博客
08-26 1845
本文系统介绍了Pandas库中的索引与切片操作，包括Series和DataFrame的基础操作、排序、数据替换以及分组聚合。掌握这些方法能够帮助开发者更加高效地进行数据处理与分析。通过灵活使用loc、iloc、query等功能，可以快速筛选、定位和操作数据，为后续的数据分析和建模提供强有力的支持。在数据分析和机器学习的实践中，Pandas的索引与切片操作无疑是最常用的基础技能之一。
Pandas入门第六章之时间序列
YYLin
06-05 1071
前言： 数据分析中经常会碰到和时间序列相关的数据集，所以本节主要介绍一下pandas中时间序列相关的接口，同上写的比较简单，如果想要学习这个模块的话参加一个比赛还是很必要的。等从新开始比赛的时候，在向这里面增加东西吧，pandas基础教程到此为止！！！！！！！！！！！！ 一般比赛中出现时间序列相关的数据时，对于时间序列的处理一般有三种方式。 第一： 将时间序列作为索引，将数据集分成周末和...
Pandas-时间序列（二）-索引及切片：TimeSeries是Series的一个子类，所以Series索引及数据选取方面的方法基本一样【TimeSeries通过时间序列有更便捷的方法做索引和切片】
u013250861的博客
04-10 1258
一、索引 import numpy as np import pandas as pd from datetime import datetime # 索引 rng = pd.date_range('2017/1', '2017/3') ts = pd.Series(np.random.rand(len(rng)), index=rng) print("ts = \n", ts) print("-" * 50) print("ts.head() = \n", ts.head()) print("-" *
pandas把年月日数据分割成年、月、日单独三列
HYQ666888999的博客
12-18 6875
原数据中date列是str类型，需要先转化为日期格式，转化之后如下图所示 df.date=pd.to_datetime(df.date) 若要把年月日数据分开成年、月、日三列数据，需要从日期数据中提取年、月、日 year=date.year month=date.month day=date.day 把DataFrame中的年月日列利用函数转化成三列 def get_ymd(date): '''这里的输入date是一列年月日数据''' Y,M,D=[],[],[] for i i.
Python3学习笔记_INDEX（汇总）
qq_34764582的博客
03-18 6027
目录建议不要光看，要多动手敲代码。眼过千遭，不如手读一遍。python注释python运算符比较：type()和 isinstance()基本数据类型Number(数字)数学函数随机数函数字符串格式化输出字符串内建函数列表 list增删改查其他内置函数元组字典增删改查其他内置函数集合 set增删其他条件控制循环函数不定长参数匿名函数变量作用域迭代器生成器 generator闭包闭包定义使用闭包的注...
tensorflow基于BERT训练文本分类模型保存为PB（saved model）并部署
broccoli2的博客
10-07 3855
背景 基于BERT构建了文本分类任务，由于需要将模型部署至服务器，所以将模型保存为pb形式。 模型架构：BERT+softmax 模型保存策略：先将模型保存为ckpt形式然后转换为pb形式。 转换为pb形式时需要指定模型的输入节点，代码如下： def serving_input_fn(): # 保存模型为SaveModel格式 # 采用最原始的feature方式，输入是feature Tensors。 # 如果采用build_parsing_serving_input_receiv.
动手学深度学习 PyTorch版 李沐 视频笔记
weixin_45729566的博客
08-06 693
04 数据操作+数据预处理。
Python每日一记162>>>pandas 日期时间数据的分割提取操作
热门推荐
教练我想学编程
09-19 1万+
之前有提到过日期的提取，我们采用的是以下方法： data['日期'] = pd.to_datetime(list(map(lambda x: x.date(), data.loc[:, '交易时间']))) 其实有更简单的方法是使用dt.date等方法： 直接上代码了： import pandas as pd import numpy as np import time s=time.time(...
python如何分割年月日_使用python中的pandas,将年月日和小时的日期分隔在单独的列中...
weixin_34993796的博客
12-30 2672
我仍然无法用年,月,日和小时的分隔列解析日期.我的数据看起来像这样(第0列是ID,第一个是年份,第二个是月份,第三个是日,第四个是小时,第五个是值)50136 2011 1 1 21 979250136 2011 1 1 22 979450136 2011 1 1 23 979650136 2011 1 1 0 97...
Pandas实战教程 | 拆开年月日
“365天深度学习训练营”报名进行中～
05-27 1032
df.date = df.date.apply(pd.to_datetime) df['month'] = df.date.apply(lambda x: x.month) df['day'] = df.date.apply(lambda x: x.day) df['year'] = df.date.apply(lambda x: x.year) df.drop(['date'], 1, inplace = True) df.head(3)
Pandas按照时间维度合并多张表
Shenquanle的博客
11-03 2056
处理时间序列数据时，有时需要使用pandas，按照时间维度拼接多张表到一张表，此时可能会遇到文中所提问题，故发文为大家提供参考。
pandas处理日期时间
贝西晨的博客
03-17 2348
两个不是日期类型的数据的差值 遇到的问题： 一个数据表的两列，原始数据为float64，如20150101.0 需要求两个日期的差值，判断是否超过多少天（9） 一些基本的知识： 查看Date列有多少行的缺失值 off_train['Date'].isnull().sum() 选择任意行出现空值的数据 off_train[off_train.T.isnull().any()] 判断...
【Python】Pandas数据集按任意时间分组
Keikei419的博客
01-08 3900
Pandas数据集按任意时间分组
Pandas 中时间序列数据切片的行为
最新发布
weixin_44245188的博客
01-06 726
数据到2024-11-07 00:15:00，切片之后不是应该取到[a:b]，b不取到吗在 Pandas 中，对于时间序列索引（），切片操作是包含两端的，即[a:b]会包含b这个时间点的数据。这与普通列表或数组的切片行为不同。实际上，和label都会包含对应的那一行数据，也就是的数据。如果您希望排除。
分布式事务的 6 种解决方案，写得非常好！
Java技术栈，分享最主流的Java技术
06-24 402
作者：蘑菇先生 出处：www.cnblogs.com/mushroom/p/13788039.html 介绍 在分布式系统、微服务架构大行其道的今天，服务间互相调用出现失败已经成为常态。如何处理异常，如何保证数据一致性，成为微服务设计过程中，绕不开的一个难题。 在不同的业务场景下，解决方案会有所差异，常见的方式有： 阻塞式重试； 2PC、3PC 传统事务； 使用队列，后台异步处理； TCC 补偿事务； 本地消息表（异步确保）； MQ 事务。 本文侧重于其他几项，关于 2PC、3PC 传统事务，网上资料
Pandas DataFrame
Claroja
05-24 1万+
http://pandas.pydata.org/pandas-docs/stable/api.html#dataframe 构造函数 方法 描述 DataFrame([data, index, columns, dtype, copy]) 构造数据框 属性和数据 方法 描述 Axes index: row labels
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值