Haoop selfjoin 左表右表自连接

最新推荐文章于 2025-05-11 22:44:23 发布

大模型与Agent智能体

最新推荐文章于 2025-05-11 22:44:23 发布

阅读量882

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据IMF传奇行动－Spark Hadoop

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.youkuaiyun.com/duan_zhihua/article/details/50707169

大数据IMF传奇行动－Spark Hadoop 专栏收录该内容

109 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

该博客详细介绍了如何使用Hadoop进行自我连接操作，包括左表和右表的处理。通过map阶段分别写出左表和右表的数据，然后在reduce阶段进行笛卡尔积计算，找出祖父母关系。博客提供了数据文件、上传到HDFS的过程，以及最终的运行结果和部分关键代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Haoop selfjoin 左表右表自连接

map
context.write写2次，作为左表、右表
左表：
context.write(new Text(array[1].trim()), new Text("1_"+array[0].trim()));
左表第一列是父亲，第二列是孩子；
右表：
context.write(new Text(array[0].trim()), new Text("0_"+array[1].trim()));
右表第一列是孩子，第二列是父亲；

reduce：
判断孩子还是父亲，生成grandChildList和grandParentList，做笛卡尔积

1、数据文件

1列是孩子 2列是父亲，找祖父亲

[root@master IMFdatatest]#hadoop dfs -cat /library/selfjoin/selfjoin.txt
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

16/02/20 17:22:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable