hive中有哪几种排序

  • order by:会对查询出的结果集执行一次全局排序,意味着所有的数据都通过一个 reduce 进行处理过程,这对于大数据集,这个过程将消耗很大的时间来执行。在严格模式下直接使用 order by 会报错,必须加上 LIMIT 关键字。字段后面加上asc关键字(默认)表示升序,desc关键字是降序排序。
  • sort by:执行一个局部排序过程。这可以保证每个 reduce 的输出数据都是有序的(但并非全局有序)。在使用sort by之前,需要先设置Reduce的数量>1,才会做局部排序,如果Reduce数量是1,作用与 order by一样,全局排序。字段后面加上asc关键字(默认)表示升序,desc关键字是降序排序。
  • distribute by:控制 map 结果的分发,可以根据字段将数据输出到不同的reduce中,然后和sort by搭配使用。
  • cluster by:如果 distribute by 和 sort by 的列相同可以用 cluster by 。cluster by 指定的列只能是降序,不能指定 asc 和 desc。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值