Hadoop案例之单表关联输出祖孙关系

1.案例描述

实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。

   样例输入如下所示。

file：

child       parent

Tom       Lucy

Tom       Jack

Jone       Lucy

Jone       Jack

Lucy       Mary

Lucy       Ben

Jack       Alice

Jack       Jesse

Terry       Alice

Terry       Jesse

Philip       Terry

Philip       Alma

Mark       Terry

Mark       Alma

 

   家族树状关系谱：

 

 

图1 家族谱

    样例输出如下所示。

file：

grandchild       grandparent

Tom           Alice

Tom           Jesse

Jone           Alice

Jone            Jesse

Tom           Mary

Tom           Ben

Jone            Mary

Jone            Ben

Philip            Alice

Philip           Jesse

Mark            Alice

Mark            Jesse

 

 

 

2. 案例分析

分析这个实例，显然需要进行单表连接，连接的是左表的parent列和右表的child列，且左表和右表是同一个表。

　　连接结果中除去连接的两列就是所需要的结果——"grandchild--grandparent"表。要用MapReduce解决这个实例，首先应该考虑如何实现表的自连接；其次就是连接列的设置；最后是结果的整理。

     考虑到MapReduce的shuffle过程会将相同的key会连接在一起，所以可以将map结果的key设置成待连接的列，然后列中相同的值就自然会连接在一起了。再与最开始的分析联系起来：

　　要连接的是左表的parent列和右表的child列，且左表和右表是同一个表，所以在map阶段将读入数据分割成child和parent之后，会将parent设置成key，child设置成value进行输出，并作为左表；再将同一对child和parent中的child设置成key，parent设置成value进行输出，作为右表。为了区分输出中的左右表，需要在输出的value中再加上左右表的信息，比如