Hive中的排序

最新推荐文章于 2024-01-29 15:37:16 发布

原创最新推荐文章于 2024-01-29 15:37:16 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #big data

Hive 专栏收录该内容

2 篇文章

订阅专栏

全局排序（ Order By）

Order By：全局排序，一个 Reducer

使用 ORDER BY 子句排序

ASC（ ascend） : 升序（默认）
DESC（ descend） : 降序
ORDER BY 子句在 SELECT 语句的结尾
```
set hive.mapred.mode=nonstrict; (default value / 默认值)
set hive.mapred.mode=strict;
```
order by 和数据库中的Order by 功能一致，按照某一项 & 几项排序输出。

与数据库中 order by 的区别在于在hive.mapred.mode = strict 模式下必须指定 limit 否则执行会报错。
案例实操
（1）查询员工信息按工资升序排列

hive (default)> select * from emp order by sal;

（2）查询员工信息按工资降序排列

hive (default)> select * from emp order by sal desc;

PS: FAILED: Error in semantic analysis: 1:28 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token ‘id’

原因：在order by 状态下所有数据会到一台服务器进行reduce操作也即只有一个reduce，如果在数据量大的情况下会出现无法输出结果的情况，如果进行 limit n ，那只有 n * map number 条记录而已。只有一个reduce也可以处理过来。

Sort By

sort by：对全局结果集来说不是排序。其在数据进入reducer前完成排序。

因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。

sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响

sort by 的数据只能保证在同一reduce中的数据可以按指定字段排序。

注意：可以用limit子句大大减少数据量。使用limit n后，传输到reduce端（单机）的数据记录数就减少到n* （map个数）。否则由于数据过大可能出不了结果。

设置 reduce 个数

hive (default)> set mapreduce.job.reduces=3;

查看设置 reduce 个数

hive (default)> set mapreduce.job.reduces;

根据部门编号降序查看员工信息

hive (default)> select * from emp sort by empno desc;

将查询结果导入到文件中（按照部门编号降序排序）

hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result'
select * from emp sort by deptno desc;

分区排序（ Distribute By）

Distribute By: 类似 MR 中 partition，进行分区，结合 sort by 使用。

注意， Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。对于 distribute by 进行测试，一定要分配多 reduce 进行处理，否则无法看到 distribute by
的效果。

案例实操：

先按照部门编号分区，再按照员工编号降序排序。

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

按照指定的字段对数据进行划分到不同的输出reduce / 文件中。
```
insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);  
```
此方法会根据name的长度划分到不同的reduce中，最终输出到不同的文件中。

Cluster By

当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。
cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序排序，不能指定排序规则为 ASC 或者 DESC。

以下两种写法等价

hive (default)> select * from emp cluster by deptno;
hive (default)> select * from emp distribute by deptno sort by deptno;

注意：按照部门编号分区，不一定就是固定死的数值，可以是 20 号和 30 号部门分到一个分区里面去。