pyspark中timestamp字段类型过滤的细节

最新推荐文章于 2024-08-01 23:16:40 发布

wang_306

最新推荐文章于 2024-08-01 23:16:40 发布

阅读量2.1k

点赞数 1

CC 4.0 BY-SA版权

文章标签： spark timestamp filter 毫秒

本文链接：https://blog.youkuaiyun.com/wang_306/article/details/97004479

本文介绍两种过滤特定时间戳的方法：一种是直接使用字符串日期进行过滤；另一种是将时间戳转换为数值格式，再利用时间元组进行过滤。后者需要注意转换后的精度问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

假设存在以下数据，且time_stamp列的schema为TimeStamp

现在如果要过滤 2019-7-22 00:00:01点之后的数据，有两种方式：

第一种方式比较直接，写成如下方式即可：

origin_df.filter("time_stamp > '2019-07-22 00:00:01'")

得到的结果为：

第二种方式有点小坑，一般的文档会推荐写成：

import datetime
a = datetime.datetime(2019,7,22,0,0,1).timestamp()
origin_df.filter(col("time_stamp").cast("long“） > a)

此时的结果为：

你会发现数据变少了，原因就是通过cast（”long“）进行timestamp的转换时，数据只到秒级别，毫秒数据会被丢失，所以正确的方式应该是：

import datetime
a = datetime.datetime(2019,7,22,0,0,1).timestamp()
origin_df.filter(col("time_stamp").cast("double“） > a)

特此记录。。