qq_28786285的博客

b.每个Mapper从Distributed Cache读取HashTableFiles到内存中,在Map阶段直接进行Join,此时的map数由大表的数据量决定。2.hive.mapjoin.smalltable.filesize 默认值为2500000(25M),通过配置该。1.hive.auto.convert.join=true (default :true)，自动开启mapjoin优化。属性来确定使用该优化的表的大小，如果表的大小小于此值就会被加载进内存中。

Hive在reduce的过程中会将相同的key放入同一个reduce处理，当某个key的数据量过大时就会发生数据倾斜。