spark:单表关联案例

最新推荐文章于 2025-06-20 12:09:50 发布

super选择题

最新推荐文章于 2025-06-20 12:09:50 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark:单表关联案例单表关联案例

本文链接：https://blog.youkuaiyun.com/superXZT/article/details/84978290

spark 专栏收录该内容

5 篇文章

订阅专栏

该博客通过一个实例展示了如何使用Spark进行单表关联操作，以查询孙子和祖父母之间的关系。数据包含多个家庭成员关系，经过Spark代码处理后，得到了所有孙子与其祖父母的组合结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark单表关联
题目：求孙子和祖父母的关系列表

数据：

child parent
Tom Lucy
Tom Jack
Jone Lucy
Jone Jack
Lucy Mary
Lucy Ben
Jack Alice
Jack Jesse
Terry Alice
Terry Jesse
Philip Terry
Philip Alma
Mark Terry
Mark Alma

spark代码：

import org.apache.spark.{SparkConf, SparkContext}

object danbiaoRelation {

  def main(args: Array[String]): Unit = {

      val conf = new SparkConf().setAppName("paixu").setMaster("local")
      val sc = new SparkContext(conf)
      
      val child_parent_rdd = sc.textFile("D:\\wc\\danbiaoInput\\*.txt").filter(x=>{if(x.contains("child")) false else true})
       .map(x=>{val str=x.replaceAll("\\s+"," ").split(" ");(str(0),str(1))})
      val parent_child_rdd = child_parent_rdd.map(x=>(x._2,x._1))
      val child_grand_rdd = child_parent_rdd.join(parent_child_rdd);//(父母，(祖父母，孙子))
      val grandchild_grandparent_rdd = child_grand_rdd.map(x=>(x._2._2,x._2._1)).repartition(1)
      grandchild_grandparent_rdd.saveAsTextFile("D://wc/grandchild_grandparent_rdd")
  }
}

运行结果：