Hadoop表连接问题

1、在Map阶段连接

   适用情况，两个表连接，一个表非常大，一个表非常小，小的表可以放进内存中。使用分布式缓存DistributedCache，将小表缓存到每个Map节点上，连接时，扫描Map中的大表分块，判断是否存在和小表相同的键，如果存在，则进行连接。

2、Reduce阶段连接

  Map阶段，给每个键值对标注来源，例如<1,"Hello">来源于a表，标记后的数据为<1,"a，hello">；<1,"OK">来源于b表,表记为<1,"a，OK">

  Reduce阶段，对来自不同表，相同键的数据进行连接。

一些改进的方法：统计一个表A的所有键，在表B进行标记时，只写出在表A中存在的键的数据。

参考自：http://blog.youkuaiyun.com/waltonhuang/article/details/52192141