hive调优总结

（1）本地模式

hadoop默认会将job提交到YARN集群，如果在测试阶段数据量比较小，可开启本地模式，加快程序执行的速度。
set hive.exec.mode.local.auto=true;

（2）小表join大表

1、保证大表在后，小表在前；
原因：多表join时，hive假定查询中最后一个表是最大的表，在对每行记录进行join操作时，他会尝试将其他表缓存起来，然后扫描最后那个表进行计算。
（这一实现有助于在reduce端减少内存的使用量）

2、开启MapJoin配置
如果所有表中有一个表足够小（默认25M以下是小表），完全可以加载到内存中执行。这时hive可以执行一个map-side join，当大表进行mapper操作时，直接和内存中小表逐一匹配，从而省掉常规join操作所需的reduce过程。

（set hive.auto.convert.join = true,默认开启
set hive.mapjoin.smalltable.filesize=25000000）
（3）大表join大表
有时join时某些key对应的数据太多，而相同key对应的数据会发送到同一个reduce上，从而导致内存不够。

1、空key过滤

针对的是key对应的数据是异常数据，需要在sql中进行过滤掉
普通写法：

insert overwrite table jointable
select n.* from nullidtable n 
left join bigtable b
on n.id = b.id

过滤写法：