hive的优化

开发十年，就只剩下这套Java开发体系了 >>>   

1. 使用相同的连接键

当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。

 2.尽量尽早地过滤数据

减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。

3.用insert into替换union all

如果union all的部分个数大于2，或者每个union部分数据量大，应该拆成多个insert into 语句，实际测试过程中，执行时间能提升50%

insert overwite table tablename partition (dt= ....) 　

select ..... from ( select ... from A 

union all 　

select ... from B 　union all select ... from C ) R 　

where ...;

可以改写为：

insert into table tablename partition (dt= ....) select .... from A WHERE ...; insert into table tablename partition (dt= ....) select .... from B 　WHERE ...; insert into table tablename partition (dt= ....) select .... from C WHERE ...;

 4.order by & sort by （但是sort by 是在每个reduce里排序，对全局无效）

order by : 对查询结果进行全局排序，消耗时间长。需要 set hive.mapred.mode=nostrict

sort by : 局部排序，并非全局有序，提高效率。