Flink / Scala - 9.DataStream Broadcast State 模式示例详解

BIT_666

已于 2022-10-25 17:26:38 修改

阅读量2k

点赞数

分类专栏： Flink 成长之路 Scala 文章标签： scala flink DataStream BroadcastStream

于 2022-03-10 15:27:33 首次发布

本文链接：https://blog.youkuaiyun.com/BIT_666/article/details/123395157

版权

Flink 成长之路同时被 2 个专栏收录

64 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

Scala

150 篇文章

订阅专栏

本文详细介绍了Apache Flink中DataStream的Broadcast State模式，通过实例展示了如何使用BroadcastStream来控制DataStream的处理，包括创建DataStream、设置BroadcastState、连接两者并处理数据。总结了实现步骤、数据一致性、Checkpoint机制以及State Backend的选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.引言

上一篇文章 Flink / Scala - DataSet 应用 Broadcast Variables 介绍了 DataSet 场景下 Broadcast 的使用，本文将介绍 DataStream 中的 Broadcast 应用场景，与 DataSet 类似，Broadcast 的值是所有 task 公用的，Broadcast State 是为 DataStreaming 所有 task 定制的可实时修改的公用值。

二.代码常规介绍

DataStream<T> output = dataStream
                 .connect(BroadcastStream)
                 .process(
                     
                     // KeyedBroadcastProcessFunction 中的类型参数表示：
                     //   1. key stream 中的 key 类型
                     //   2. 非广播流中的元素类型