Flink流式框架的状态管理

本文深入探讨了Apache Flink中的状态概念,包括算子状态和键控状态的定义、作用范围及数据结构,以及状态后端的选择和功能,如MemoryStateBackend、FsStateBackend和RockDBStateBackend。

一、Flink中的状态

1)由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态;

2)可以认为状态就是一个本地变量,可以被任务的业务逻辑访问;

3)Flink会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开发人员可以专注于应用程序的逻辑;

4)在Flink中,状态始终与特定算子相关联;

5)为了使运行时的Flink了解算子的状态,算子需要预先注册其状态;

6)总的来说,有两种类型的状态:

      ****  算子状态(Operator State):算子状态的作用范围限定为算子任务;

      ****  键控状态(Keyed  State):根据输入数据流中定义的键(key)来维护和访问;

 

1、算子状态(Operator  State)

1)算子状态的作用范围限定为算子任务,由同一并行任务所处理的所有数据都可以访问到相同的状态;

2)状态对于同一子任务而言是共享的;

3)算子状态不能由相同或不同算子的另一个子任务访问;

 

2、算子状态数据结构

1)列表状态(List  state)

      ****  将状态表示为一组数据的列表

2)联合列表状态(Union  list  state)

      **** 也将状态表示为数据的列表。它与常规列表状态的区别在于,在发生故障时,或者从保存

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值