Spark与hive 不兼容语法

本文探讨了Spark与Hive在函数差异上的问题,包括unix_timestamp和date_format函数的不同用法和约束,精度差异,以及get_json_object的语法区别。此外,还指出SparkSQL在关联操作中不支持rand()函数和case when语法,这些都是Hive所支持的。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.函数差异

1.1unix_timestamp函数差异性

用于把字符串格式日期转换成时间戳格式

1.1.1函数用法不同

spark执行unix_timestamp需要设置格式化参数,例如:select unix_timestamp(‘2023-01-01’,‘yyyy-MM-dd’)中’yyyy-MM-dd’必填, hive执行unix_timestamp,可以不设置日期格式化参数

select unix_timestamp('2023-01-01')
--1.spark返回为null,2.hive 返回1672502400

--spark兼容的语法如下
select unix_timestamp('2023-01-01','yyyy-MM-dd')
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值