Flink Broadcast 广播变量

最新推荐文章于 2025-06-12 09:46:34 发布

原创最新推荐文章于 2025-06-12 09:46:34 发布 · 1w 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#flink Broadcast #flink 广播变量 #Flink Broadcast 广播变量

flink 专栏收录该内容

23 篇文章

订阅专栏

本文详细介绍了Flink中的Broadcast广播变量功能，包括如何通过withBroadcastSet进行广播数据设定及通过getBroadcastVariable获取广播数据的过程。文章还提供了Java与Scala代码示例，并强调了广播变量在节点内存中的存储方式及使用限制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Broadcast 广播变量：一句话解释，可以理解为是一个公共的共享变量，我们可以把一个dataset 数据集广播出去，然后不同的任务在节点上都能够获取到，这个数据在每个节点上只会存在一份。如果不使用broadcast，则在每个节点中的每个任务中都需要拷贝一份dataset数据集，比较浪费内存(也就是一个节点中可能会存在多份dataset数据)。

Broadcast variables允许你创建一个数据集在所有的并行操作节点都能获取到，除了常规的输入操作。针对一些小的依赖数据集，这种方式是非常有用的，这个data set数据集将会作为一个Collection集合被操作访问。

Broadcast(广播数据) ：通过withBroadcastSet(DataSet, String) 进行广播数据，并给这份数据起名字
Access(获取数据)：通过getRuntimeContext().getBroadcastVariable(String)获取广播出去的数据

java代码示例

// 1. 准备等待广播的DataSet数据
DataSet<Integer> toBroadcast = env.fromElements(1, 2, 3);

DataSet<String> data = env.fromElements("a", "b");

data.map(new RichMapFunction<String, String>() {
    @Override
    public void open(Configuration parameters) throws Exception {
      // 3. 获取广播的DataSet数据 作为一个Collection
      Collection<Integer> broadcastSet = getRuntimeContext().getBroadcastVariable("broadcastSetName");
    }


    @Override
    public String map(String value) throws Exception {
        ...
    }
}).withBroadcastSet(toBroadcast, "broadcastSetName"); // 2. 广播DataSet

scala代码示例

// 1. 准备等待广播的DataSet数据
val toBroadcast = env.fromElements(1, 2, 3)

val data = env.fromElements("a", "b")

data.map(new RichMapFunction[String, String]() {
    var broadcastSet: Traversable[String] = null

    override def open(config: Configuration): Unit = {
      // 3. 获取广播的DataSet数据 作为一个Collection
      broadcastSet = getRuntimeContext().getBroadcastVariable[String]("broadcastSetName").asScala
    }

    def map(in: String): String = {
        ...
    }
}).withBroadcastSet(toBroadcast, "broadcastSetName") // 2. 广播DataSet

确保在广播的时候，和获取数据的时候使用相同的broadcastSetName名称。

注意：

1：广播出去的变量存在于每个节点的内存中，所以这个数据集不能太大。因为广播出去的数据，会常驻内存，除非程序执行结束。

2：广播变量在初始化广播出去以后不支持修改，这样才能保证每个节点的数据都是一致的。

个人建议：如果数据集在几十兆或者百兆的时候，可以选择进行广播，如果数据集的大小上G的话，就不建议进行广播了。

获取更多大数据资料，视频以及技术交流请加群：