林 的博客

1. hive建表set hive.execution.engine=mr;set hfile.compression=gz;add jar hive-hbase-handler-version.jar; create table my_hbase_table(key string, cf_0_c0 string, cf_0_c1 string, ...)stored asINPUTF...

由于hive在进行join的过程中要进行shuffle 如果两个表中有一个表比较小,将这个小表加入到每个mapper的内存中, 就可以省去shuffle的过程--开启默认set hive.auto.convert.join=true;--小于这个参数大小的小表则会变成MapJoin为(默认2500000Byte)set hive.mapjoin.smalltable.filesize=...