hive学习笔记4：sort by 、order by_简述sort by子句和order by子句的区别。-优快云博客

本文链接：https://blog.youkuaiyun.com/zhousishuo/article/details/79166874

1.order by 子句
在order by子句中有一些限制。在strict模式(hive.mapred.mode=strict)下，order by子句后面必须有limit子句。如果设置hive.mapred.mode=nonstrict，limit子句不一定需要。原因是为了对所有结果进行整体的排序，必须使用一个reducer来对最后的结果进行排序。如果结果的总行数太大，单个reducer可能需要很长的时间完成。

order by默认顺序是升序(asc)。在Hive 2.1.0及以上版本，支持对null值进行排序，升序排序是null值被排在第一位，降序时null值被排在最后。

2.sort by 和 order by 之间的区别
Hive支持使用 sort by 排序。
sort by 和 order by的区别是前者给每一reducer上的所有行进行排序，后者保证在数据结果上都有序。也就是说，如果使用超过一个reducer，使用sort by可能给出部分有序的结果。

3.使用sort by会在每个reducer中的数据将会根据用户指定的顺序排序

SELECT key, value FROM src SORT BY key ASC, value DESC

这个查询有2个reducer，每个结果如下
这里写图片描述
4.sort by排序字段设置类型
变量类型通常被认为是字符串类型，意味着数值型的数据将会以字母表顺序排序。为了克服这个方面，需要在使用sort by之前使用cast在select语句中转换类型。

FROM (FROM (FROM src
            SELECT TRANSFORM(value)
            USING 'mapper'
            AS value, count) mapped
      SELECT cast(value as double) AS value, cast(count as int) AS count
      SORT BY value, count) sorted
SELECT TRANSFORM(value, count)
USING 'reducer'
AS whatever