Hive中sort by、distribute by、cluster by的区别及用法

最新推荐文章于 2024-02-13 18:02:52 发布
最新推荐文章于 2024-02-13 18:02:52 发布
阅读量2.2k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 随笔 文章标签： sort by distribute by cluster by
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42826453/article/details/86244456
本文详细解析了Hive SQL中的sortby、distributeby和clusterby语句的作用及使用方法。介绍了这些语句如何影响MapReduce任务中的数据排序与分区，以及它们之间的区别和联系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

sort by
sort by：每个MapReduce内部进行排序，对全局结果集来说并不是排序。
distribute by
distribute by：类似MR中的partition，进行分区，结合sort by使用。
注意：Hive要求distribute by语句要写在sort by语句之前。
cluster by
cluster by：当distribute by和sort by字段相同时，可以使用cluster by方式。
注意：cluster by除了具有distribute by的功能外还兼具sort by的功能，但是排序只能是倒叙排序，不能指定排序规则为asc或者desc。

深度解析 Hive 排序命令：ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY
2401_83088008的博客
03-23 609
四个命令的设计体现了 Hive 在排序精度和处理性能ORDER BY是牺牲性能的绝对排序SORT BY是兼顾性能的局部排序是数据分布的底层控制CLUSTER BY是特定场景的语法糖Map 阶段负责数据读取与初步处理，Reduce 阶段负责数据聚合与最终排序。合理组合使用这四个命令，能让您在 Hive 开发中既保证结果正确性，又获得良好的性能表现。
hive，order by ,distribute by ,sort by ,cluster by 区别，作用，用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-29 1940
0 order by 是全局有序。sort by是在一个reduce中排序，该reduce的输出有序，是局部有序。distriute by c1 是作用于map输出的结果，把c1的值相同的记录输入到同一个reduce中；如果reduce数目比较少，c1多个不同值的记录会输入到同一个reduce中。 1distribute by要写在sort by前面，不然报错 2distribute by c1,c2sort by c1,c2 = cluster by c1,c2 ，注意distribute by...
Hive中order by、sort by、distribute by、cluster by的区别
ThreeAspects的博客
04-27 337
order by   order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，会导致当输入规模较大时，消耗较长的计算时间。 sort by   sort by不是全局排序，其在数据进入reducer前完成排序，因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只会保证每个reducer的输出有...
Hive的Order by、Sort by、Distribute by和Cluster by的区别
Yage的博客
04-28 3433
在Hive中，可以像SQL一样对数据进行全局或局部排序，这里利用orders表来测试order by、sorty by、distribute by和cluster by的排序结果。 数据准备 orders表的字段如下：利用order_dow（其取值范围是0-6）字段来测试 orders表的数据如下（limit 20）： 在以下测试中我设置reduce数为3，便于观察不同排序的效果 set ma...
hive中的distribute by
u011250186的博客
04-11 590
hive中的distribute by
hive中的distribute By
朝着梦想 渐行前进
05-26 1万+
hive中的distribute By
hive order by,sort by, distribute by, cluster by作用以及用法
赵英超的博客
01-22 1941
1. order by     Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。     这里跟传统的sql
Hive拉拉扯扯的order by,sort by,distribute by, cluster by
01-07
Hive对用户提供的同样是SQL，但底层实现却和传统数据库有天壤区别，底层实现默默情况下是利用了Hadoop的计算框架MapReduce，当然也支持使用Spark, Tez。鉴于此，Hive有一些自己特定，比如order by的实现需要把所有...
(04)Hive的相关概念——order by 、sort by、distribute by 、cluster by
最新发布
爱吃辣条的博客
02-13 1457
Hive的排序——order by 、sort by、distribute by、cluster by
Hive中order by，sort by，distribute by和cluster by详解
笑看风云路的博客
03-31 950
作为数据开发工程师，在平时工作中，肯定接到过产品小姐姐提的排序需求，例如在mysql数据库中，就是使用order by函数。在hive中也是有order by函数的，那么除了order by之外是否还有其他排序函数呢？今天就跟小伙伴们聊聊hive中有哪些排序函数以及使用场景！只有了解了各个排序函数的功能和使用场景，才能在开发过程中达到事半功倍的效果，提升HQL性能，节省计算资源，提质增效。
distribute by 和 partitioned by 区别
jokertiger的博客
03-31 7576
distribute by DISTRIBUTE BY是控制map的输出在reducer是如何划分的 DISTRIBUTE BY是控制在map端如何拆分数据给reduce端的。 DISTRIBUTE BY可以控制某个特定行应该到哪个reducer。 distribute by 是根据has取模的结果来分区 ```` ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210331171748267.png?x-oss-process=image/watermark,type
Hive sql 中 order by、sort by、distribute by、cluster by用法
leveretz的博客
06-19 3837
名词解释： order by 　　Hive中的order by和数据库中的order by 功能一致，按照某一项或者几项排序输出，可以指定是升序或者是降序排序。它保证全局有序，但是进行order by的时候是将所有的数据全部发送到一个Reduce中，所以在大数据量的情况下可能不能接受，最后这个操作将会产生一个文件。 sort by 　　sort by只能保证在同一个reduce中的数据可以按指定字段排序。使用sort by 你可以指定执行的reduce个数 （set mapreduce.job.re
hive SQL优化之distribute by和sort by
竹叶青 的专栏
02-07 1万+
本文出自 “炽天使” 博客，请务必保留此出处http://3199782.blog.51cto.com/3189782/703873 原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://3199782.blog.51cto.com/3189782/703873  最近在优化hiveSQL， 下面是一段排序，分组
Hive 常见的数据倾斜及调优技巧
Focus on Lakehouse
03-19 1068
Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key...
hive hsq中的group by & Distribute by & partition by & cluster by & partitioned by & clustered by
沉默的夏虫
11-08 4506
group by & partition by & Distribute by 首先一定要记住group by分组之后是会组内聚合的而后两者仅仅是分组了，并未有聚合操作 partition by是分区 Distribute by 可以理解为分簇 partition by是分区 区内排序用order by Distribute by 可以理解为分簇 簇内排序用sort by 另...
Hive基础之：Order By、Sort By、distribute by 、cluster by的区别
weixin_43542605的博客
01-05 891
详解Order By、Sort By、distribute by 、cluster by的区别
Sort By、Distribute By 使用说明书
热门推荐
扛麻袋的少年的博客
05-27 2万+
七、Order By、Sort By、Distribute By、Cluster By 的使用
hive 中 order by, sort by, distribute by, cluster by 的区别【详细】
weixin_42326851的博客
12-01 3169
hive 中 order by, sort by, distribute by, cluster by 的区别【详细】
Hive中order by、sort by、distribute by、cluster by有什么区别？
03-29
在Hive中，order by、sort by、distribute by和cluster by是用于对查询结果进行排序和分组的关键字。它们的区别如下： 1. order by：按照指定的列或表达式对查询结果进行排序。它会对所有数据进行全局排序，因此在大规模数据的情况下可能会导致性能问题。 2. sort by：类似于order by，但是它只会在每个reducer上进行局部排序，不会对所有数据进行全局排序。因此，它比order by更适用于大规模数据的情况。 3. distribute by：按照指定的列或表达式对查询结果进行分区。它会将数据分发到不同的reducer上进行并发处理，但是不保证每个reducer上的数据是有序的。 4. cluster by：类似于distribute by，但是它会对分区的数据进行排序，以确保每个reducer上的数据是有序的。它通常会与sort by一起使用，以进一步优化查询性能。 总之，order by、sort by、distribute by和cluster by都是用于排序和分组的关键字，但是它们的实现方式和适用场景不同。在选择使用哪个关键字时，需要根据具体的查询需求和数据规模进行考虑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值