封装广播变量,方法广播变量

减肥中的小南瓜

于 2022-04-16 14:39:38 发布

阅读量83

点赞数

分类专栏： scala学习笔记文章标签： scala

本文链接：https://blog.youkuaiyun.com/weixin_44342318/article/details/124213482

版权

scala学习笔记专栏收录该内容

13 篇文章

订阅专栏

该博客展示了如何在 Scala 中使用 Spark 的广播变量（Broadcast）。通过创建一个 mutable.Map 并封装为 Broadcast 对象，然后在 map 操作中使用广播变量提高效率，避免了数据的重复传输。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

封装广播变量,方法广播变量

package study.spark.core.acc

import org.apache.spark.broadcast.Broadcast
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable

object Spark06_Bc {

    def main(args: Array[String]): Unit = {

        val sparConf = new SparkConf().setMaster("local").setAppName("Acc")
        val sc = new SparkContext(sparConf)

        val rdd1 = sc.makeRDD(List(
            ("a", 1),("b", 2),("c", 3)
        ))
        val map = mutable.Map(("a", 4),("b", 5),("c", 6))

        // 封装广播变量
        val bc: Broadcast[mutable.Map[String, Int]] = sc.broadcast(map)

        rdd1.map {
            case (w, c) => {
                // 方法广播变量
                val l: Int = bc.value.getOrElse(w, 0)
                (w, (c, l))
            }
        }.collect().foreach(println)



        sc.stop()

    }
}