【hive】Hive中4种排序的区别

最新推荐文章于 2025-05-26 19:56:32 发布
最新推荐文章于 2025-05-26 19:56:32 发布
阅读量3.8k 收藏 12
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hive排序 order by sort by distribute by cluster by
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/debimeng/article/details/90759446
本文深入解析Hive中四种排序方式：orderby实现全局排序，但仅使用一个reducer；sortby在进入reducer前完成排序，允许多个reducer，但不保证全局有序；distributeby按字段划分数据至不同reducer，常与sortby结合使用；clusterby则等同于distributeby加sortby，仅支持默认升序。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive中4种排序的区别

共有四种排序：order by，sort by ，distribute by，cluster by

order by
    全局排序；
    对输入的数据做排序，故此只有一个reducer(多个reducer无法保证全局有序)；
    只有一个reducer，会导致当输入规模较大时，需要较长的计算时间；
    
sort by
    非全局排序；
    在数据进入reducer前完成排序；
    当mapred.reduce.tasks>1时，只能保证每个reducer的输出有序，不保证全局有序；
    
distribute by
    按照指定的字段对数据进行划分输出到不同的reduce中；
    常和sort by一起使用，并且distribute by必须在sort by前面；
    
cluster by
    相当于distribute by+sort by，只能默认升序，不能使用倒序；
   

【硬刚Hive】Hive 中的四种排序详解，再也不会混淆用法了
微信搜：import_bigdata，大数据领域硬核原创作者
09-06 886
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 Hive 中的四种排序 排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什.
Hive 对array/数组 字段 排序
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-18 2982
Hive 数组排序 SELECT memberid, collect_list(cast(airways as string)), concat_ws(',', collect_list(cast(airways as string))), sort_array(collect_list(cast(airways as string))) from ( select 1 as memberid, 'A
Hive 区分cluster by、distribute by ＋ sort by、order by以及创建表带有clustered by和sort by
热门推荐
wangxingxing2006的专栏
11-27 1万+
Hive 区分cluster by、distribute by ＋ sort by、order by以及创建表带有clustered by和sort by本文主要根据一些具体SQL实例来介绍说明cluster by、distribute by ＋ sort by和order by的区别。同时通过实例说明create table指定clustered by 和sort by。create table
hive中的几种排序的区别
Samaritan_H的博客
01-17 1624
整理hive中遇到的几种排序的函数 特性、区别记上一笔 hive的排序 hive的排序有四种： order by ，sort by，distribute by，cluster by order by order by 是最常用的一种排序，全局排序，所有的数据会在一个reducer上面进行排序，所以一般使用这个函数进行排序的时候速度较慢。需要指出来的是，在strict模
Hive中的by家族
最新发布
m0_53042880的博客
05-26 522
本文介绍了Hive中的几种排序和分区方式：1）order by用于全局排序但效率较低；2）sort by在每个reduce内部排序；3）distribute by按字段分区处理；4）cluster by在分区字段与排序字段相同时使用。此外还说明了建表时使用的分区（partitioned by）和分桶（clustered by）语法，分区是按目录划分数据集，分桶则是通过哈希算法将数据分成小文件。这些方法各有适用场景，可根据数据规模和查询需求选择合适的排序分区策略。
Hive的四种排序
Hello_babypan的博客
08-29 448
排序 一、Order by 全局排序，一个Reduce来处理 正常排序：ASC 升序（默认） DESC 降序 二、Sort By 每个Reducer内部进行排序 设置reduce个数：set mapreduce.job.reduce=3; 查看设置reduce个数： set mapreduce.job.reduce; 例：根据部门编号降序查看员工信息 select * from emp sort by empno desc 三、分区排序 distribute by 例：先按照部门编号分区，
hive四种排序Order By , Sort By ,Distribute By ,Cluster By
张俊杰 的博客
09-28 3756
前文 Hive的本质是MapReduce，MapReduce中如何排序的?? MapReduce分为几种: 1.全排序order By： 结果只有一个(也就是只有一个分区)，所有的数据整体有序. 2.部分排 序sort By： 结果有多个(相当于有多个分区)，每个分区内部有序的. 3.二次排序： 在排序时，比较的条件有多个,比如说按总流量排序,总流量相等就按上行流量排序. 注意: 排序是在reduce之前就已经排好序了，排序是shuffle阶段的主要工作.然后让Reduce方便接下来的处理 准备数据
Hive 四种排序 （亲手实战 + 理解，烦请您过目）
禧年
05-26 8741
文章目录:1、全局排序 （order by）① 使用order by排序的子句在select 结尾处。降序：desc升序：asc 不需要指定，默认是升序②案例实操：结果：2、区内排序 （sort by ）分区字段 (distribute by)设置reduces 个数:set mapreduce.job.reduces = 3;distribute by 分区字段 store by 排序字段 联合使用②案例实操：不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且
Hive(十六)having和排序
技术博客
08-14 1502
有别于order by ，sort by可以指定reducer的个数，然后再对reducer里面的数据再排序，也可以得到全局的排序结果。distribute by 一般是配合sort by 使用的。利用distribute by对数据进行分类，然后再在每一个分类中对数据进行排序.如果distribute by和sort by的字段一致，那么可以写成cluster by。order by 是最常用的一种排序，全局排序，所有的数据会在一个reducer上面进行排序，所以一般使用这个函数进行排序的时候速度较慢。
Hive分组排序
Bee_Darker的博客
06-04 2393
任务目标 1.了解Hive中Order by 、Sort by的用法以及区别 2.了解Hive中Distribute by、Group by以及Cluster by的用法于区别
Hive中查询操作
01-20
在Hive中，查询操作是数据处理的核心，它允许用户从大数据存储中提取所需的信息。以下将详细解析Hive查询语法及其基本查询方法。 一、Hive查询语法 Hive的查询语句遵循标准SQL的基本结构，但也有一些Hive特有的扩展...
Hive的几种排序
a280966503的博客
01-17 659
1、order by 全局排序，相当于一个reduce，2、sort by 按每一个reduce内部排序，不是全局排序3、distribute by 类似于MRPartition,进行分区，一般要结合sort by使用4、cluster by 当distribute和sort字段相同时，就是cluster by
hive中四种排序
qq_38477444的博客
11-03 1214
全局排序--orderby order by对整表数据进行排序，使用一个reducer，ASC升序（默认），desc降序，在企业中一般禁止该操作，因在企业中数据量都非常大，而该操作又只有一个reducer，耗时有风险。 每个reduce内部排序--sort by sort by为每个reducer产生一个排序文件，每个reducer内部进行排序，对全局结果集来说并不是排序。 分区--distribute by distribute by类似MR中partition（自定义分区），进行分区，结合s.
hive中的四大排序
weixin_42838776的博客
07-26 282
hive的四大排序
Hive的四种排序方法
Taerge0110的博客
12-22 2289
hive有四种排序方法: ORDER BY 、SORT BY 、DISTRIBUTE BY 、CLUSTER BY。hive排序方法,hive的排序方式。
Hive中Order by和Sort by的区别是什么?
测试
06-19 1473
Hive基于HADOOP来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在HADOOP环境下很难对数据进行全局排序，如果在HADOOP上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务...
hive中的四种排序和窗口排序
qq_42456324的博客
11-28 815
文章目录 前言 一、 order by 二、sort by 三、distribute by 四、cluster by 五、窗口排序 前言 Hive中的四种排序方法和hive中的窗口排序 一、order by order by 是要对输出的结果进行全局排序，这就意味着只有一个reduce task时才能实现（多个reducer无法保证全局有序）但是当数据量过大的时候，效率就很低，速度会很慢。可以指定升序asc 降序desc 二、sort by sort by...
hive中的几种排序
m0_59603265的博客
01-11 435
3.distribute by:按照指定字段将数据分到不同的reduce,如果不指定就按照一行的哈希值进行分区,结合sort by使用,distribute by 在前,sort by 在后.2.sort by:为每个reduce产生一个排序文件,多个reduce内部进行排序,如果只有一个reduce,那么全局有序;如果有多个reduce,则保证每个reduce文件内部有序.1.order by:对输入的数做全局排序,因此只有一个reduce,即使设置多个reduce,也不生效。
hive数据排序
m0_75280426的博客
04-23 600
当分区字段和排序字段相同Cluster By可以简化Distribute By+Sort By 的SQL写法，也就是说当Distribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By。Cluster By 当Sistribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By,但是Cluster By默认是升序，不能指定排序方向。升序：asc ，不需要指定，默认是升序。
Hive中排序函数的区别
04-01
Hive 提供了多种用于数据排序的函数，每种都有其特定的应用场景和功能特点。以下是几个常见的 Hive 排序函数及其区别： ### 1. **`ORDER BY`** - 功能：将整个结果集按照指定列进行全局排序。 - 特点： - 需要对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值