Flink State 笔记帖

文章介绍了Flink中的状态处理,包括OperatorState和KeyedState,如ValueState、ListState、MapState、ReducingState和AggregatingState。同时阐述了不同类型的StateBackend,如HashMapStateBackend适合中小数据量,EmbeddedRocksDBStateBackend适用于大数据量并支持对象重用。此外,还提及了CheckpointStorage的jobmanager和filesystem两种策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1 State 分类

Operator State

主要用在Source、Sink等没有key分布的位置。

 
 

Keyed State

用在keyBy后的KeyedStream里,每个存储状态与一个key想关联。

ValueState

ListState

MapState

ReducingState

AggeratingState 

2 State Backend

StateBackend分类

HashMapStateBackend

数据保存在内存中,适合中小数据量的state存储,Object 不可重用;

EmbeddedRocksDBStateBackend

数据保存在当地文件系统中,适合大量数据的state存储,Object可以重用。

CheckpointStorage分类

jobmanager

checkpoint 保存在jobmanager的内存中;

filesystem

checkpoint 保存在分布式文件系统中。

参考:

Stateful Stream Processing | Apache Flink

Working with State | Apache Flink

State Backends | Apache Flink

Flink 之 State - 简书

Checkpoint的核心流程(37) - 墨天轮

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值