Hive和sparksql中的dayofweek

dayofweek在hive2.2.0开始支持
低版本的sparksql和hive中可用以下方式实现

 select 7- datediff(next_day('2018-03-12',"Sunday"),'2018-03-12').  
 select date_format('2018-03-12' ,'u').   
 select date_format(from_unixtime(unix_timestamp('20180313','yyyyMMdd'),'yyyy-MM-dd'),'u')

参考
Hive UDF
sparksql function

HiveSpark SQL是两种用于处理大数据的SQL查询引擎。Hive是基于Hadoop的数据仓库基础设施,它使用类似于SQL的查询语言HiveQL来查询分析数据。Hive将查询转换为MapReduce任务来执行。相比之下,Spark SQL是Apache Spark的一个模块,它提供了一个用于处理结构化数据的高级数据处理接口。Spark SQL支持使用SQL查询DataFrame API进行数据分析,并且可以在内存中进行快速计算,因为它使用了RDD(弹性分布式数据集)来处理数据。 HiveSpark SQL在功能用途上有一些区别。Hive主要用于批处理离线分析,适用于大规模数据的处理。它可以处理结构化半结构化数据,并且支持复杂的查询数据转换操作。而Spark SQL则更适合于实时数据处理交互式查询。它可以处理结构化数据,并且具有更快的查询速度更低的延迟,因为它将数据存储在内存中。 总的来说,HiveSpark SQL都是用于处理大数据的SQL查询引擎,但它们在功能用途上有一些区别。选择使用哪个取决于具体的需求场景。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *3* [hive sql spark sql的区别](https://blog.youkuaiyun.com/m0_67401499/article/details/126102533)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [HiveSQLSparkSQL的区别联系](https://blog.youkuaiyun.com/weixin_44870066/article/details/125457965)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值