Flink 算子状态与键控状态总结

已于 2022-03-26 16:45:34 修改
阅读量5.4k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： flink 入门到精通 文章标签： flink 状态管理 flink 算子状态 flink 键控状态 flink 常用状态 flink 常用状态使用总结
于 2022-03-26 15:39:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/congge_study/article/details/123752791
本文详细总结了Flink的状态管理，包括算子状态（Operator State）和键控状态（Keyed State）的定义、数据结构及使用。算子状态在任务内部共享，键控状态按键分区并存储。还介绍了状态后端（State Backends）的选择，如内存、文件系统和RocksDBStateBackend，以及它们的特点和应用场景。

Flink 常用状态

  • 算子状态（Operatior State）
  • 键控状态（Keyed State）
  • 状态后端（State Backends）

Flink 中的状态

如下图所示，为一条数据流经过flink的处理过程中的各种状态 

  • 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态；
  • 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问；
  • Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑；
  • 在 Flink 中，状态始终与特
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink-状态编程和容错机制 | 算子状态和键控状态的介绍及数据结构 | 状态的定义及使用
SmallScorpion
05-28 1416
GitHub代码 https://github.com/SmallScorpion/flink-tutorial.git 状态编程和容错机制 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。 所有用于复杂事件处理的状态机。例如，若在一分钟内收到两个相差20度以上的温度读
Flink 状态管理
progammer10086的博客
04-02 618
一、介绍 Flink状态包括：算子状态和按键分区状态，简单理解就是记录任务的中间状态或者数值 二、按键分区状态（Keyed State） 基于 KeyedStream 上的状态。这个状态是跟特定的 key 绑定的，对 KeyedStream 流上的每一个 key，都对应一个 state。 按键分区状态分为：ValueState、ListState、ReducingState、MapState、AggregatingState 2.1、ValueState 即类型为T的单值状态 package c
Flink状态管理
weixin_45626756的博客
01-12 1146
KeyedState的管理 KeyState通过KeyedStateBackend进行创建和管理，Flink提供了基于JVM堆内存和RocksDB实现的KeyedStateBackend。KeyedStateBackend不仅提供了创建KeyedState的功能，也实现SnapshotStrategy接口，对KeyedStateBackend中的状态数据进行快照，实现状态数据的持久化。 在Task初始化时，每个Task实例初始化的过程中都会创建一个StateBackend，用于管理状态和Checkpoint
Flink中的状态管理
morsunlight的博客
03-09 511
flink中的状态:算子状态(Operatior)、键控状态(Keyed State)、状态后端(State Backends) 状态的定义: 1、有一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态 2、可以任务状态是一个本地变量，可以被任务的业务逻辑访问 3、Flink的状态管理主要是状态一致性、故障处理以及高效储存和访问。 注意: 1、在Flink中，状态始终与特定算子相关联 2、运行时的Flink了解算子的状态，算子需要预先注册其状态 算子状态(Operatior):算子状态的
4.1.21 Flink-流处理框架-Flink中的状态管理之算子状态+键控状态
敲代码的乔帮主
03-04 852
目录 1.写在前面 2.有状态的算子和应用程序 2.1算子状态（operator state） 2.2键控状态（keyed state） 1.写在前面 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过 90 度时发出警告。有状态的计算则会基于多个事件输出结果。以下是有状态计算的一些例子。 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。 所有用于复杂事件处...
Flink 的状态机制
猫猫头
05-03 1214
灵活性：算子状态与键控状态的组合满足多样化需求。可靠性：检查点与重启策略保障故障恢复的一致性。扩展性：RocksDBStateBackend 支持 TB 级状态存储。智能化：自动状态清理和增量检查点降低运维成本。小状态优先：优先使用内存状态后端，配合 Checkpoint 提升性能。大状态优化：采用 RocksDBStateBackend，启用增量检查点和状态 TTL。监控与调优：通过 Flink Web UI 监控状态大小、检查点耗时，结合 Prometheus 实现异常预警。
Flink基础概念及算子_flink 算子
2401_84170337的博客
04-29 588
当Flink提供的所有分区策略都不能满足用户的需求时，我们可以通过使用partitionCustom()方法来自定义分区策略。
5 Flink 算子大全-DataStream API
qq_45972323的博客
02-01 1056
Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。
【flink学习笔记】【11】算子状态
qq_40273172的博客
04-19 2034
文章目录1 分类2.应用场景3. 广播状态 不考虑key，只针对当前算子并行任务有效，不需要考虑key的隔离。不同的key只要被分发到同一个并行子任务，就会访问同一个operator state。 1 分类 列表状态 listState 每个并行子任务只会保留一个列表，也就是当前并行子任务上所有状态项的集合，状态项是可以重新分配的最细粒度，彼此完全独立。 如果并行度调整了，列表状态中的元素项被统一收集起来，相当于多个分区的列表合成大列表，再均匀分配所有并行任务 联合列表状态 UnionListState
Flink的状态管理
止于终老的博客
06-02 432
状态是指在流处理过程中需要保持的数据，它可以是中间计算结果、窗口聚合结果或用户自定义的状态信息。键控状态（Keyed State）：根据流数据的键值对进行管理的状态，每个键对应一个状态。操作符状态（Operator State）：与算子相关的状态，不依赖于键值对，通常用于维护全局的中间结果。列表状态（List State）：维护一组元素的状态，可以添加、删除和更新列表中的元素。联合列表状态（Union List State）：用于将多个列表状态合并为一个列表状态。
Flink-状态管理
m0_57697768的博客
06-13 542
这样，并行度缩放之后的并行子任务就获取到了联合后完整的“大列表”，可以自行选择要使用的状态项和要丢弃的状态项。这种“均匀分配”的具体方法就是“轮询”（round-robin），与之前介绍的rebanlance数据传输方式类似，是通过逐一“发牌”的方式将状态项平均分配的。与Keyed State中的列表状态的区别是：在算子状态的上下文中，不会按键（key）分别处理状态，所以每一个并行子任务上只会保留一个“列表”（list），也就是当前并行子任务上所有状态项的集合。在这种情况下，状态的访问方式又会有所不同。
【Flink】状态管理
lxtx
11-23 3326
根据当前的输入可以直接转换得到输出结果，这种鼻子就是无状态算子，如map,flatMap,filter。
Flink流计算状态与容错【键控状态、操作状态、托管状态】
踏雪无痕
06-25 739
有状态的函数和运算符在处理单个元素/事件的过程中存储数据，从而使状态成为任何类型的更精细操作的关键构建块。 包括： 当应用程序搜索某些事件模式时，状态将存储到目前为止遇到的事件序列。 在每分钟/小时/天汇总事件时，状态将保留待处理的汇总。 在数据点流上训练机器学习模型时，状态保持模型参数的当前版本。 当需要管理历史数据时，该状态允许有效访问过去发生的事件。 Flink需要了解状态，以便使用检查点使状态容错并允许流应用程序的保存点。 状态还允许重新缩放Flink应用程序，这意味着Flink负责在并行实例之
flink算子状态中列表状态是如何执行的
最新发布
06-11
### Flink 算子状态与列表状态执行机制详解 在 Apache Flink 中，算子状态（Operator State）和列表状态（List State）是两种重要的状态管理方式。它们的执行机制与状态后端紧密相关[^1]。 #### 1. 算子状态...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值