OneToOneDependency 一对一依赖关系

最新推荐文章于 2023-10-03 10:45:16 发布

weixin_33725807

最新推荐文章于 2023-10-03 10:45:16 发布

阅读量120

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：https://yq.aliyun.com/articles/675420

本文深入探讨了一对一依赖关系在Spark中的实现原理，这是一种窄依赖类型，用于描述父RDD和子RDD分区之间的直接映射关系。文章通过具体的代码示例展示了如何在Scala中操作RDD，并提供了丰富的资源链接，包括GitHub、优快云、YouTube和Bilibili上的教程和视频，帮助读者更全面地理解这一概念。

OneToOneDependency 一对一依赖关系

Represents a one-to-one dependency between partitions of the parent and child RDDs.

youtub视频演示

输入数据

a bc
a

处理程序scala

package com.opensource.bigdata.spark.local.rdd.operation.dependency.narrow.n_02_RangeDependency

import com.opensource.bigdata.spark.local.rdd.operation.base.BaseScalaSparkContext

object Run1 extends BaseScalaSparkContext{

  def main(args: Array[String]): Unit = {
    val sc = pre()
    val rdd1 = sc.textFile("/opt/data/2/c.txt",2)

    println(rdd1.collect().mkString("\n"))

    //rdd1.partitions(0).asInstanceOf[org.apache.spark.rdd.HadoopPartition]

    sc.stop()
  }

}