Hive中时间格式的相关转换

最新推荐文章于 2024-07-16 00:32:44 发布
原创 最新推荐文章于 2024-07-16 00:32:44 发布 · 2.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在Hive中进行时间格式转换和日期时间操作的方法，包括时间戳与日期之间的转换，日期时间的各个部分提取，日期比较与增减等，帮助理解Hive中的时间处理函数。

1、获取当前的时间戳

select unix_timestamp() from dim_kpi;

 

2、时间戳转时间

备注：转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式

select from_unixtime(1558166130,'yyyy-MM-dd HH:mm:ss') from dim_kpi;

 

3、日期转时间戳

select unix_timestamp('2019-05-18 13:01:03') from  dim_kpi;

 

4、上一条，其中可以指定参数的时间格式，转为时间戳：

select unix_timestamp('20190518 13:01:03','yyy
最低0.47元/天 解锁文章
【大数据入门核心技术-Hive】（八）Hive 时间转换
12-18 602
UNIX时间戳概念：因为UNIX时间戳只是一个秒数，一个UNIX时间戳在不同时区看来，时间是不同的。如UNIX时间戳0，在0时区看来是1970-01-01 00:00:00，在东八区看来是1970-01-01 08:00:00。以前需要很长时间处理才能获得结果的问题 ，到现在变得顷刻之间就迎刃而解 ，同时还可以引发新的问题和新的见解。Hadoop 是 Apache Lucene 创始人Doug Cutting 创建的 ，Lucene 是一个应用 广 泛 的文本搜索系统库Hadoop起源于开 源的网络搜索引擎
Hive date/timestamp/date_sub/date_add/date_format/日期时间格式转换
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
07-16 4160
务必注意输入类型和返回类型！Hive函数-官方文档。
Hive日期格式转换详解（包含13位时间戳转毫秒时间）
热门推荐
XMZHSY的博客
08-23 2万+
固定日期转换成时间戳 select unix_timestamp('2016-08-16','yyyy-MM-dd') --1471276800 select unix_timestamp('20160816','yyyyMMdd') --1471276800 select unix_timestamp('2016-08-16T10:02:41Z', "yyyy-MM-dd'T'HH:mm:ss'Z'") --1471312961 16/Mar/2017:12:25:01 +0800 转成正常格式（yyy
【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间）
weixin_53543905的博客
12-19 2720
【代码】【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间）
Hive常用日期格式转换
cuisidong1997的博客
01-12 3862
16/Mar/2017:12:25:01 +0800 转成正常格式（yyyy-MM-dd hh:mm:ss）SELECT current_timestamp;返回开始日期startdate增加days天后的日期。返回开始日期startdate减少days天后的日期。业务中有时存放的是包含毫秒的整数，需要先转换为秒。返回日期中的年，月，日，时，分，秒，当前的周数。返回日期中的年，月，日，时，分，秒，当前的周数。返回结束日期减去开始日期的天数。把时间戳转为正常的日期。返回日期在当前的周数。
hive把字符串转换为时间_Hive常用日期格式转换
weixin_39527487的博客
12-19 5651
固定日期转换成时间戳select unix_timestamp('2016-08-16','yyyy-MM-dd') --1471276800select unix_timestamp('20160816','yyyyMMdd') --1471276800select unix_timestamp('2016-08-16T10:02:41Z', "yyyy-MM-dd'T'HH:mm:ss'Z'"...
Hive SQL处理时间格式都有哪些
rubyw的博客
07-16 1615
不同的数据库在时间处理函数和格式上可能会有细微的差异，但上述方法在 Hive SQL 中是较为常用的。
hive sql 日期格式转换
ck3207的博客
02-28 9462
遇到一个需求，需要计算hive库中，某资产近一个月的资产值。 比如：今天是2018年2月28日，近一个月若是按照自然月来算，那么是2018年2月1日至2018年2月28日。最终需要的日期格式为：yyyyMMdd。 当日时间戳 unix_timestamp() 方法可得到当前时间的时间戳。 上月今日 使用 add_months(日期，N) 函数可将日期往前、往后推N个月。主要有两种格式： ...
hive UDF函数 实现时间格式转换
qq_35315363的博客
07-09 984
hive UDF函数 实现时间格式转换 需求： 自定义函数UDF - 数据格式 "27.38.5.159" "31/Aug/2015:00:04:37 +0800" ip: IP地址 datetime_str: 访问时间 - 两个UDF 去除 字段的双引号 转换日期时间格式 ...
【hive 】时间差（天、小时、分、秒）和常用时间格式转
biqidaoer的专栏
09-18 3299
unix_timestamp()是hive系统时间，格式是timestamp，精确到秒。unix_timestamp(ymdhms)是把时间转换成timestamp格式，是2018-05-23 07:15:50格式。unix_timestamp() - unix_timestamp(ymdhms)是两个时间转换为timestamp之后相减，timestamp单位是秒，相减之后是两个时间之间相差的秒数。
hive日期格式转换
miaolynn2017的博客
07-23 478
问题示例：2019-07-04 12:50:19 转 20190704 解决方案： from_unixtime(unix_timestamp('2019-07-04 12:50:19','yyyy-mm-dd'),'yyyymmdd')
【Hive】常用日期格式转换和计算
RessCris的博客
05-27 6191
regexp_replace(‘2017-12-05’,’-’,’’) set belong_month=2020-04; date_format(concat(year(’hiveconf:belongmonth′)−1,′−′,month(′{hiveconf:belong_month}')-1,'-',month('hiveconf:belongm​onth′)−1,′−′,month(′{hiveconf:belong_month}’)),‘yyyy-MM’) 感觉这个可以用date函数去做。 AN
Hive学习（8）Hive日期处理全攻略：格式转换与当前日期的N种获取方式
优快云博客专家，领域包括但不限于：AI、大数据、Python、架构师，有合作、课程、问题、疑惑请私信博主
05-13 7935
在大数据ETL和统计分析中，时间日期处理是最高频的操作场景之一。Hive作为企业级数据仓库解决方案，提供了丰富的日期处理函数。但在实际使用中，开发人员常会遇到以下痛点： - 源数据日期格式杂乱（如'2023/01/01'、'01-Jan-2023'等） - 需要动态获取当前日期进行增量数据处理 - 时区转换和日期计算需求复杂 本文将深入解析Hive日期处理的15+种核心用法，并提供可直接复用的生产级案例代码。
Hive中各种日期格式转换方法总结
数据森麟
11-03 1万+
公众号后台回复“图书“，了解更多号主新书内容作者：数据人阿多来源：DataShare背景 日期计算平时在业务取数时经常涉及到，但是数据库中经常存放着不同的日期格式，有的存放是时间戳、有的是...
[1144]Hive常用日期格式转换
周小董
05-30 7545
文章目录获取当前时间日期格式转换返回日期中的年，月，日，时，分，秒，当前的周数计算日期差值返回当月或当年的第一天 获取当前时间 获取当前时间戳 select unix_timestamp() 把时间戳转为正常的日期 select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') select from_unixtime(unix_timestamp(),'yyyy-MM-dd') 业务中有时存放的是包含毫秒的整数，需要先转换为秒 s
hive时间格式的转换
macfei的博客
03-05 443
把2.02102261356020(double类型)转为2021-02-26 13:56:02 1.先截取前14位 select substr(2.02102261356020,0,15) 2.去除小数点 select regexp_replace(substr(2.02102261356020,0,15),'\\.','') 3. select unix_timestamp( regexp_replace(substr(2.02102261356020,0,15),'\\.',''),'yyyy
hive常用日期格式转换
qq_34864753的博客
01-30 180
[1144]Hive常用日期格式转换-腾讯云开发者社区-腾讯云
hive 日期转换
weixin_42616544的博客
05-18 1544
【代码】【无标题】
hive，日期格式转换后是1970
最新发布
09-18
在Hive中，日期格式转换后结果为1970通常是因为时间戳为0或者日期格式不匹配，以下是具体的原因和解决办法。 ### 原因 - **时间戳为0**：当输入的日期值为空或者无效时，Hive可能会将其解析为时间戳0，而时间戳0对应的日期就是1970年1月1日。例如，输入的日期字段是`NULL`，或者包含非日期字符，在转换时就可能出现这种情况。 - **日期格式不匹配**：使用`from_unixtime`或`unix_timestamp`等函数进行日期格式转换时，如果指定的日期格式与实际输入的日期格式不一致，Hive无法正确解析日期，从而导致转换结果为1970年。比如，实际日期格式是`yyyy-MM-dd`，但在函数中指定的格式是`yyyy/MM/dd`。 ### 解决办法 - **处理空值或无效值**：在进行日期格式转换之前，先对输入的日期值进行检查和处理，过滤掉空值或无效值。可以使用`CASE WHEN`语句或者`COALESCE`函数来处理。 ```sql -- 使用CASE WHEN语句 SELECT CASE WHEN date_column IS NULL THEN NULL ELSE from_unixtime(unix_timestamp(date_column, 'yyyy-MM-dd'), 'yyyy-MM-dd') END AS converted_date FROM your_table; -- 使用COALESCE函数 SELECT from_unixtime(unix_timestamp(COALESCE(date_column, 'invalid_date'), 'yyyy-MM-dd'), 'yyyy-MM-dd') FROM your_table; ``` - **确保日期格式匹配**：在使用`unix_timestamp`和`from_unixtime`等函数时，要确保指定的日期格式与实际输入的日期格式一致。可以先查看数据的实际格式，然后根据实际情况调整函数中的日期格式参数。 ```sql -- 假设实际日期格式是yyyy-MM-dd SELECT from_unixtime(unix_timestamp(date_column, 'yyyy-MM-dd'), 'yyyy-MM-dd') FROM your_table; ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值