本文详细介绍了Flink的状态后端存储，包括MemoryStateBackend、FsStateBackend和RocksDBStateBackend的使用及特点。MemoryStateBackend适合小规模测试，状态存储在内存中，不适用于生产环境。FsStateBackend将状态存储在文件系统，适用于大状态和分布式文件系统。RocksDBStateBackend使用本地数据库存储状态，减少内存压力，适合生产环境。选择状态后端时需考虑Job场景、状态大小及性能需求。
State Backends
当需要对具体的某一种 State 做 Checkpoint 时，此时就需要具体的状态后端存储，刚好 Flink 内置提供了不同的状态后端存储，用于指定状态的存储方式和位置。状态可以存储在 Java 堆内存中或者堆外，在 Flink 安装路径下 conf 目录中的 flink-conf.yaml 配置文件中也有状态后端存储相关的配置，为此在 Flink 源码中还特有一个 CheckpointingOptions 类来控制 state 存储的相关配置，该类中有如下配置：
state.backend: 用于存储和进行状态 checkpoint 的状态后端存储方式，无默认值
state.checkpoints.num-retained: 要保留的已完成 checkpoint 的最大数量，默认值为 1
state.backend.async: 状态后端是否使用异步快照方法，默认值为 true
state.backend.incremental: 状态后端是否创建增量检查点，默认值为 false
state.backend.local-recovery: 状态后端配置本地恢复，默认情况下，本地恢复被禁用
taskmanager.state.local.root-dirs: 定义存储本地恢复的基于文件的状态的目录
state.savepoints.dir: 存储 savepoints 的目录
state.checkpoints.dir: 存储 checkpoint
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
