hive hsq中的group by & Distribute by & partition by & cluster by & partitioned by & clustered by

group by & partition by & Distribute by 首先一定要记住group by分组之后是会组内聚合的而后两者仅仅是分组了，并未有聚合操作

partition by是分区 Distribute by 可以理解为分簇

partition by是分区 区内排序用order by

Distribute by 可以理解为分簇 簇内排序用sort by 另外当 distribute by 和 sorts by 后的字段相同时，可以使用 cluster by 方式

partitioned by (分区名 string) 按所分区名分区建表使用
clustered by(列名)  按列分桶建表使用

over中partition by和distribute by区别：

1）partition by [key..] order by [key..]只能在窗口函数中使用，而distribute by [key...] sort by [key...]在窗口函数和select中都可以使用。

2）窗口函数中两者是没有区别的

3）where后面不能用partition by

order by

order by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样，它只在一个reduce中进行所以数据量特别大的时候效率非常低。

distribute by

DISTRIBUTE BY 是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法。

sort by

sort by为每个reduce产生一个排序文件。在有些