Flink检查点机制与状态管理

最新推荐文章于 2024-09-18 20:21:46 发布

原创

最新推荐文章于 2024-09-18 20:21:46 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文详细介绍了Flink的状态管理，包括检查点机制、保存点机制以及算子状态和键控状态的使用。检查点用于容错，通过周期性生成快照确保数据一致性。保存点则允许手动触发，防止升级或重启导致状态丢失。算子状态和键控状态分别针对不同场景，支持不同类型的数据存储。此外，还讨论了不同的状态后端，如MemoryStateBackend、FsStateBackend和RocksDBStateBackend，以及如何配置这些后端。

1 检查点机制

1.1 CheckPoints

为了使 Flink 的状态具有良好的容错性，Flink 提供了检查点机制 (CheckPoints) 。通过检查点机制，Flink 定期在数据流上生成 checkpoint barrier ，当某个算子收到 barrier 时，即会基于当前状态生成一份快照，然后再将该 barrier 传递到下游算子，下游算子接收到该 barrier 后，也基于当前状态生成一份快照，依次传递直至到最后的 Sink 算子上。当出现异常后，Flink 就可以根据最近的一次的快照数据将所有算子恢复到先前的状态。

检查点机制

1.2 开启检查点

默认情况下，检查点机制是关闭的，需要在程序中进行开启：

// 开启检查点机制，并指定状态检查点之间的时间间隔
env.enableCheckpointing(1000); 

// 其他可选配置如下：
// 设置语义
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
// 设置两个检查点之间的最小时间间隔
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500);
// 设置执行Checkpoint操作时的超时时间
env.getCheckpointConfig().setCheckpointTimeout(60000);
// 设置最大并发执行的检查点的数量
env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
// 将检查点持久化到外部存储
env.getCheckpointConfig().enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
// 如果有更近的保存点时，是否将作业回退到该检查点
env.getCheckpointConfig().setPreferCheckpointForRecovery(true);

1.3 保存点机制

保存点机制 (Savepoints) 是检查点机制的一种特殊的实现，它允许你通过手工的方式来触发 Checkpoint，并将结果持久化存储到指定路径中，主要用于避免 Flink 集群在重启或升级时导致状态丢失。

1.4 RichFunction 检查点实战

public class OperatorWarning implements CheckpointedFunction {
   
   
    // 非正常数据
    private List<Tuple2<String, Long>> bufferedData;
    // checkPointedState
    private transient ListState<Tuple2<String, Long>> checkPointedState;
   
    @Override
    public void initializeState(FunctionInitializationContext c

最低0.47元/天解锁文章