Flink-CheckPoint

最新推荐文章于 2025-02-07 08:57:31 发布

Samooyou

最新推荐文章于 2025-02-07 08:57:31 发布

阅读量589

点赞数

分类专栏： FLINK 文章标签： flink big data

本文链接：https://blog.youkuaiyun.com/Samooyou/article/details/124717438

版权

FLINK 专栏收录该内容

13 篇文章

订阅专栏

本文详细介绍了如何在Flink流处理环境中配置检查点，包括设置周期、间隔、超时和并发限制，以及选择statebackend实现，如RocksDB、FsStateBackend和内存状态管理。着重讲解了Exactly-Once一致性模式和数据持久化策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

CK配置

//获取flink的运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
 
// 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】
env.enableCheckpointing(1000);
// 高级选项：
// 设置模式为exactly-once （这是默认值）
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
// 确保检查点之间有至少500 ms的间隔【checkpoint最小间隔】
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500);
// 检查点必须在一分钟内完成，或者被丢弃【checkpoint的超时时间】
env.getCheckpointConfig().setCheckpointTimeout(60000);
// 同一时间只允许进行一个检查点
env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
// 表示一旦flink处理程序被cancel后，会保留Checkpoint数据，以便根据实际需要恢复到指定的Checkpoint
//ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION:表示一旦Flink处理程序被cancel后，会保留Checkpoint数据，以便根据实际需要恢复到指定的Checkpoint
//ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION: 表示一旦Flink处理程序被cancel后，会删除Checkpoint数据，只有job执行失败的时候才会保存checkpoint
env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
 
//设置statebackend
env.setStateBackend(new FsStateBackend("file://" + System.getProperty("user.dir") + "/WorkSpace/checkpoints"));
//        env.setStateBackend(new FsStateBackend("hdfs://node02:8020/com.elephent.flink/checkpoints"));
 
switch (stateBackendType) {
    case "rocksdb":
        stateBackend = new RocksDBStateBackend(tmpPath);
        break;
    case "fs":
        stateBackend = new FsStateBackend(tmpPath);
        break;
    case "memory":
        stateBackend = new MemoryStateBackend();
        break;
    default:
        throw new RuntimeException("Unsupported state backend " + stateBackendType);
}