OneToOneDependency 一对一依赖关系

最新推荐文章于 2023-10-03 10:45:16 发布

原创最新推荐文章于 2023-10-03 10:45:16 发布 · 457 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Spark OneToOneDependency 一对一依赖关系

Spark 专栏收录该内容

28 篇文章

订阅专栏

本文深入探讨了Apache Spark中OneToOneDependency的概念，这是一种窄依赖关系，具体表现为父RDD和子RDD分区间的一对一依赖。文章提供了详细的代码示例，展示了如何在Spark中实现这种依赖关系，并链接了多个资源，包括github项目、csdn博客、youtube和bilibili上的视频教程，帮助读者更全面地理解OneToOneDependency的工作原理。

OneToOneDependency 一对一依赖关系

Represents a one-to-one dependency between partitions of the parent and child RDDs.

youtub视频演示

https://youtu.be/Tohv00GJ5AQ(youtube视频)
https://www.bilibili.com/video/av37442139/(bilibili视频)

width="800" height="500" src="//player.bilibili.com/player.html?aid=37442139&cid=65822237&page=1" scrolling="no" border="0" allowfullscreen="true">

输入数据

a bc
a

处理程序scala

package com.opensource.bigdata.spark.local.rdd.operation.dependency.narrow.n_02_RangeDependency

import com.opensource.bigdata.spark.local.rdd.operation.base.BaseScalaSparkContext

object Run1 extends BaseScalaSparkContext{

  def main(args: Array[String]): Unit = {
    val sc = pre()
    val rdd1 = sc.textFile("/opt/data/2/c.txt",2)

    println(rdd1.collect().mkString("\n"))

    //rdd1.partitions(0).asInstanceOf[org.apache.spark.rdd.HadoopPartition]

    sc.stop()
  }

}