hive中distribute by 、sort by 、cluster by 、order by的区别

order by
只有一个reduce负责对所有的数据进行排序，若大数据量，则需要较长的时间。建议在小的数据集中使用order by 进行排序。
如果设置hive.mapred.mode参数控制Hive执行方式为strict，则order by 则需要指定limit（若有分区还有指定哪个分区） ；若为nostrict，则与关系型数据库差不多。

distribute by
hive中（distribute by + “表中字段”）关键字控制map输出结果的分发,采用hash算法，在map端将查询的结果中hash值相同的结果分发到对应的reduce节点去处理。

sort by
sort by为每一个reducer产生一个排序文件，和distribute by一般情况下会结合使用。可以通过mapred.reduce.task 指定reduce个数，查询后的数据被分发到相关的reduce中。sort by不能保证全局数据有序。

cluster by
cluster by 相当于 distribute by 和sort by 的结合，默认只能是升序，以下两种写法查询结果相同

//cluster by
hive>select * from store cluster by merid;
//distribute by,sort by
hive>select * from store distribute by merid sort by merid asc;