rdd取不到配置文件读出的值--使用广播变量解决

最新推荐文章于 2022-07-07 20:05:36 发布

Niki20034655

最新推荐文章于 2022-07-07 20:05:36 发布

阅读量272

点赞数 1

文章标签： scala 大数据

原文链接：http://www.cnblogs.com/shenjie2017/articles/9768439.html

版权

问题描述

spark读取配置文件读取成功后，rdd中未拿到配置文件的值(executor未拿到配置文件的值，但是driver有这个值)

解决方案

将所需要的对象通过广播发送到各个executor

code:

object BroadcastDemo {

  var c1 = 0
  var c2 = 0

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("BroadcostDemo").setMaster(args(0))
    val sc = new SparkContext(conf)

    c1 = 10

    val rdd1 = sc.parallelize(1 to 10, 1)
    val c2_init = 10
    c2 = sc.broadcast(c2_init).value
    val c3_init = 10
    var c3 = sc.broadcast(c3_init).value

    rdd1.mapPartitions(t => {
      System.out.println("get c1:" + c1)
      System.out.println("get c2:" + c2)
      System.out.println("get c3:" + c3)
      t
    }).collect()
  }

}

启动参数

spark-submit --class com.blue.spark.demo.BroadcastDemo  \
--master yarn-cluster  --num-executors 1  \
--driver-memory 1g --executor-memory 1g   --executor-cores 1  \
/tmp/broadcast-demo.jar yarn-cluster