【Flink】Flink广播变量

一杯咖啡半杯糖

已于 2022-12-07 17:14:07 修改

阅读量2.8k

点赞数

分类专栏： Flink实战文章标签： flink 大数据 big data

于 2022-02-10 16:51:18 首次发布

本文链接：https://blog.youkuaiyun.com/sinat_23225111/article/details/122864448

版权

Flink实战专栏收录该内容

95 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flink中如何使用广播变量来解决不同算子间数据共享的问题。通过withBroadcastSet方法广播数据，并在RichFunction的open方法中按名称获取广播变量，实现全局访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Flink中，taskmanager中划分不同slot，计算过程中算子在多个Slot中进行，因此不同算子的计算数据之间不能像Java数组之间一样互相访问，Broadcast可以解决这个问题。在 flink 中, 针对某一个算子需要使用公共变量的情况下, 就可以把对应的数据给广播出去, 这样在所有的节点中都可以使用了。

在一个算子中使用广播变量主要有两个步骤:

广播变量

使用 withBroadcastSet(data, "name") 这个方法即可, name变量代表了获取该广播变量的名称

使用广播变量

使用方法主要是通过 RichFunction, 在对应的 open( )方法中, 可以根据名称来获取对应的广播变量, 只需要一次获取, 就可以一直使用了, 具体方法如下:

代码如下

package com.test;

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apac