MultiBroadcastTest

最新推荐文章于 2021-02-02 11:36:36 发布

原创最新推荐文章于 2021-02-02 11:36:36 发布 · 492 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一个使用Apache Spark进行广播变量测试的例子。通过创建并发送两个广播变量，观察不同切片数量下广播变量的大小变化。该测试有助于理解广播变量在大规模数据处理中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 发送多个广播，去数据用 barr1.value

 val barr1 = sc.broadcast(arr1)
    val barr2 = sc.broadcast(arr2)

val sparkConf = new SparkConf().setAppName("Multi-Broadcast Test")
    val sc = new SparkContext(sparkConf)

    val slices = if (args.length > 0) args(0).toInt else 2
    val num = if (args.length > 1) args(1).toInt else 1000000

    val arr1 = new Array[Int](num)
    for (i <- 0 until arr1.length) {
      arr1(i) = i
    }

    val arr2 = new Array[Int](num)
    for (i <- 0 until arr2.length) {
      arr2(i) = i
    }

    val barr1 = sc.broadcast(arr1)
    val barr2 = sc.broadcast(arr2)
    val observedSizes: RDD[(Int, Int)] = sc.parallelize(1 to 10, slices).map { _ =>
      (barr1.value.size, barr2.value.size)
    }
    // Collect the small RDD so we can print the observed sizes locally.
    observedSizes.collect().foreach(i => println(i))

    sc.stop()