Hive 和Spark 中时间，时区转换方法

最新推荐文章于 2025-06-19 14:26:13 发布

金戈拉斯

最新推荐文章于 2025-06-19 14:26:13 发布

阅读量4k

点赞数

CC 4.0 BY-SA版权

文章标签： hive

本文链接：https://blog.youkuaiyun.com/maizi1045/article/details/84791439

本文探讨了Hive和Spark在处理带有时区的时间字符串时的转换问题。Hive的`unix_timestamp`和`to_unix_timestamp`函数无法正确处理时区信息，而Spark的`to_utc_timestamp`函数则能够根据指定的时区进行转换。对于全球团队的数据处理，Spark的这个功能显得更为实用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive :

hive> select unix_timestamp('2018-11-07T17:24:09.313-05:00')
> ;
OK
_c0
NULL
Time taken: 1.061 seconds, Fetched: 1 row(s)
hive> select unix_timestamp('2018-11-07T17:24:09.313')
> ;
OK
_c0
NULL
Time taken: 0.078 seconds, Fetched: 1 row(s)
hive> select unix_timestamp('2018-11-07 17:24:09.313') ;
OK
_c0
1541636649
可以发现带时区的时间，unix_timestamp无法转换。

hive> select unix_timestamp('2018-11-07 17:24:09.313+01:00');
OK
_c0
1541636649
hive> select unix_timestamp('2018-11-07 17:24:09.313-05:00');
OK
_c0
1541636649
可以发现其也无法识别时区的变化

hive> select to_unix_timestamp('2018-11-07T17:24:09.313+01:00')
> ;
OK
_c0
NULL
Time taken: 0.089 seconds, Fetched: 1 row(s)
hive> select to_unix_timestamp('2018-11-07 17:24:09.313+01:00');
OK
_c0
1541636649
Time taken: 0.065 seconds