Flink 清理过期 Checkpoint 目录的正确姿势

最新推荐文章于 2024-12-20 16:28:41 发布
原创 最新推荐文章于 2024-12-20 16:28:41 发布 · 1.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨Flink Checkpoint与Savepoint的区别，详解RocksDB增量Checkpoint原理，揭示生产环境中合理清理Checkpoint目录的重要性及正确策略。

 

 

本博客是笔者在生产环境使用 Flink 遇到的 Checkpoint 相关故障后，整理输出，价值较高的 实战采坑记，本文会带你更深入的了解 Flink 实现增量 Checkpoint 的细节。

通过本文，你能 get 到以下知识：

  • Flink Checkpoint 目录的清除策略
  • 生产环境应该选择哪种清除策略
  • 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录
  • RocksDB 增量 Checkpoint 实现原理
  • 如何合理地删除 Checkpoint 目录？
  • 通过解析 Flink Checkpoint 的元数据信息来合理清理 Checkpoint 信息

1. 故障背景

本次故障涉及到的知识面比较多，将从以下多个角度来详细描述。

1.1 Flink Checkpoint 目录的清除策略

如下图所示，红圈处的一行配置 env.getCheckpointConfig().enableExternalizedCheckpoints() 表示当 Flink 任务取消时，是否保留外部保存的 CheckPoint 信息。

参数有两种枚举，分别是：ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION 和 ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION。这两种枚举分别代表什么含义呢？看一下源码中的解释：

  • DELETE_ON_CANCELLATION：仅当作业失败时，作业的 Checkpoint 才会被保留用于任务恢复。当作业取消时，Checkpoint 状态信息会被删除，因此取消任务后，不能从 Checkpoint 位置进行恢复任务。

  • RETAIN_ON_CANCELLATION：当作业手动取消时，将会保留作业的 Checkpoint 状态信息。注意，这种情况下，需要手动清除该作业保留的 Checkpoint 状态信息，否则这些状态信息将永远保留在外部的持久化存储中。

无论是选择上述哪种方式，后面都提示了一句：如果 Flink 任务失败了，Checkpoint 的状态信息将被保留。

1.2 生产环境中，该参数应该配置为 DELETE_ON_CANCELLATION 还是 RETAIN_ON_CANCELLATION ？

在 Flink 任务运行过程中，为了保障故障容错，会定期进行 Checkpoint 将状态信息保存到外部存储介质中，当 Flink 任务由于各种原因出现故障时，Flink 任务会自动从 Checkpoint 处恢复，这就是 Checkpoint 的作用。Flink 中还有一个 Savepoint 的概念，Savepoint 与 Checkpoint 类似，同样需要把状态信息存储到外部介质，当作业失败时，可以从外部存储中恢复。Savepoint 与 Checkpoint 的区别如下表所示：

Checkpoint Savepoint
由 Flink 的 JobManager 定时自动触发并管理 有用户手动触发并管理
主要用于任务发生故障时，为任务提供自动恢复机制 主要时用户升级Flink版本、修改任务的代码逻辑、调整算子并行度等，且必须手动恢复
当时用RocksDBStateBackend时，支持增量房是对状态信息进行快照 仅支持全量快照
Flink任务停止后，Checkpoint的状态快照信息默认被清除 一旦触发 Savepoint，状态信息就被持久化到外部存储，除非用户手动删除
Checkpoint 设计目标：轻量级且尽可能快地恢复任务 Savepoint 的生成和恢复成本会更高一些，Savepoint 更多地关注代码的可移植性和兼容任务的更改操作

相比 Savepoint 而言，Checkpoint 更加轻量级，但有些场景 Checkpoint 并不能完全满足我们的需求。所以在使用过程中，如果我们的需求能使用 Checkpoint 来解决优先使用 Checkpoint。当 Flink 任务中的一些依赖组件需要升级重启时，例如 hdfs、Kafka、yarn 升级或者 Flink 任务的 Sink 端对应的 MySQL

最低0.47元/天 解锁文章
Flink从入门到精通100篇（二十三）-Flink实战应用案例：如何清理过期的 Checkpoint 目录？
wenyusuran的专栏
12-11 1365
Flink Checkpoint 目录的清除策略 生产环境应该选择哪种清除策略 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录 RocksDB 增量 Checkpoint 实现原理 如何合理地删除 Ch.
【Flink】Flink 清理过期 Checkpoint 目录的正确姿势
九师兄
11-20 711
1.概述 转载：Flink 清理过期 Checkpoint 目录的正确姿势
Flink如何清除过期的CheckPoint
淡定一生2333的博客
07-15 7585
生产环境中，Flink Job运行过程中会定期执行CheckPoint，将内部状态持久化到外部的存储系统中，一般会选择使用HDFS。多种外部存储系统之间的差异详见之前写的那篇文章《Flink的状态后端(State Backends)》。随着程序不停的执行， CheckPoint文件会越来越多，如何清理过期的文件就是一个很大的问题。 一般建议大家选用RocksDB作为StateBackend。RocksDB使用的LSM树，会将状态存储到磁盘sst文件(类似HBase中的HFile)中，避免S...
Flink: checkPoint
难得糊涂
07-04 1177
依据1.17.1 最新版本的内容研究下期运作原理,总的来说其实就是设置一些参数,这些参数就会影响到如何存储checkpoint的问题.用起来没什么难的,参数配置的组合到是挺多cuiyaonan2000@163.com。
Flink1.4 Checkpoints
大怀特的博客
11-10 1243
概览 Checkpoints可以拿Flink中的状态具有容错性,它是通过允许恢复状态和流原有的位置,因此使应用程序具有无故障运行语义. 查看Checkpointing来为你的程序开启和配置checkpoints功能. checkpoint存储 当开启checkpointing,管理状态被持久化来保证任务失败恢复到一致性. checkpoiting过程中持久化状态被保存在哪里是依赖选择什么Checkpoint存储. 可用的Checkpoint存储选项 Flink捆绑提供checkpoint存储类型
Flink 清除过期Checkpoints目录文件
lihuazaizheli的博客
06-12 865
1.创建shell脚本/flink/flink_checkpoint_clear.sh #!/bin/bash # hdfs目录 HDFS='/hadoop/hadoop-2.9.1/bin/hdfs dfs -ls /flink/checkpoints' # 删除N天前的hdfs目录 N=3 # 删除脚本 DELETE='/hadoop/hadoop-2.9.1/bin/hdfs dfs -rm -r' # 生产使用 old_version=$($HDFS | awk 'BEGIN{ days_ago
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
在 Flink 中，若要确保 Checkpoint 数据在任务异常退出或人为取消后不被删除，可以在配置中启用外部化 Checkpoint，并设置清理策略为 `RETAIN_ON_CANCELLATION`。以下是启用这一功能的代码示例： ```java ...
【Flink】Flink Checkpoint 流程解析
HHoao的博客
12-03 1501
任务运行后 JobMaster 定时执行 Checkpoint，JobMaster 会通过调用 CheckpointCoordinator 对作业进行 Checkpoint。CheckpointCoordinator 开始进行 Checkpoint，它首先会先创建 PendingCheckpoint，然后开始给 Checkpoint 计时，再关闭网关开始触发 OperatorCoordinator 的 Checkpoint。
Flink 的 Checkpoint配置详解_flink 设置checkpoint
2401_89733751的博客
12-20 721
Flink中的每个函数和运算符都可以有状态，状态中存储计算的中间结果。状态可以用于容错，在任务被动失败或者主动重启时，可以通过 Checkpoint 或 Savepoint 从先前的状态中恢复计算数据，以保证数据计算的 ExactlyOnec（精准一次）或 AtleastOnce （至少一次）。
Flink（三十七）—— Flink 清理过期 Checkpoint 目录的正确姿势
weixin_42073629的博客
10-19 2396
本博客是笔者在生产环境使用 Flink 遇到的 Checkpoint 相关故障后，整理输出，价值较高的实战采坑记，本文会带你更深入的了解 Flink 实现增量 Checkpoint 的细节。 通过本文，你能 get 到以下知识： Flink Checkpoint 目录的清除策略 生产环境应该选择哪种清除策略 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录 RocksDB 增量 Checkpoint 实现原理 如何合理地删除 Ch.
（7）Flink-CheckPoint
allensandy的博客
06-18 1327
目录 1、checkpoint 2、StateBackend 3、Restart Strategies 3、SavePoint 1、checkpoint 默认情况下，checkpoint不会被保留，取消程序时即会删除它们，但是可以通过配置保留定期检查点。开启Checkpoint功能，有两种方式。其一是在conf/flink_conf.yaml中做系统设置；其二是针对任务再代码里灵活配置。推荐第二种方式，针对当前任务设置，设置代码如下所示： //获取flink的运行环境 final Strea
flink 检查点（checkpoint）配置与使用
热门推荐
Aspirin's Nest
12-01 1万+
前言 之前文章有讲过flink的有状态算子。有状态算子就是讲算子产生的中间结果存储在Flink的一些内存数据结构中，比如ValueState、MapState等等。这可以算一种计算机制。比如对流中的某个字段进行累加，我们必须要保存累加的中间结果，下一个事件才能知道加谁。 但是距离容灾还差一段距离。比如job失败了，程序都没有了，内存中也就没有状态数据了。这时候就需要检查点了。所以，检查点就是定期保存任务状态的机制。但是状态又保存到哪里了呢？之前说过的状态后端。 检查点是用于错误恢复的，但这是有条件的：
记录：Flink checkpoint 过期导致失败（线上问题）
shi_xiansheng的博客
08-19 2936
报错信息： 2021-08-18 18:28:40,502 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Triggering checkpoint 1 (type=CHECKPOINT) @ 1629282520408 for job 1cba827ad8a8d68521605157b77a6191. 2021-08-18 18:38:40,502 INFO org.apache.flink.runti
【Flink】Flink checkpoint 本地磁盘 没有清除
九师兄
12-27 900
1.概述 有这样一个问题，就是我的checkpoint地址配置的是本地磁盘，然后我配置了只保留最新的五个checkpoint，但是我看taskmanager磁盘上checkpoint的数据会一直保留。这个应该怎么处理呢？ 配置如下 flinkProperties: state.backend: hashmap state.checkpoint-storage: filesystem state.checkpoints.dir: file:///opt/operator/checkp
Flink Checkpoint 本地磁盘未清除导致的大数据问题
学习使你进步。
08-30 466
然而，如果不及时清除本地磁盘上的过期 Checkpoint 数据，可能会导致磁盘空间的不断占用，最终影响应用程序的正常运行。通过使用 Flink 提供的清理工具，并定期清除本地磁盘上的过期 Checkpoint 数据，我们可以有效地解决这个问题，确保 Flink 应用程序的稳定性和可靠性。方法启用 Checkpoint，并设置 Checkpoint 的时间间隔为每分钟一次。通过定期清除本地磁盘上的过期 Checkpoint 数据，我们可以确保 Flink 应用程序的正常运行，并防止磁盘空间被耗尽。
Flink checkpoint未能成功清除本地磁盘的问题导致大数据处理困扰
BugCrusher的博客
09-02 488
然而，一些用户反馈称，在使用本地磁盘作为checkpoint存储介质时，无法正确清除旧的checkpoint数据，导致磁盘空间被占满。默认情况下，Flink会保留最后一次成功的checkpoint，并删除之前的所有checkpoint。在大数据处理中，Apache Flink是一个广泛使用的流处理框架，它提供了容错机制，即checkpoint。综上所述，通过正确配置和管理Flink作业，我们可以解决Flink checkpoint未能成功清除本地磁盘的问题，确保大数据处理过程的稳定性和可靠性。
Flink 检查点（checkpoint）
hyunbar的博客
03-25 6704
Flink具体如何保证exactly-once呢? 它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。 假设你和两位朋友正在数项链上有多少颗珠子，如下图所示。你捏住珠子，边数边拨，每拨过一颗珠子就给总数加一。你的朋友也这样数他们手中的珠子。当你分神忘记数到哪里时，怎么办呢? 如果项链上有很多珠子，你显然不想从...
清理hdfs上flink程序残留的文件
好记性不如烂笔头
04-20 1244
hdfs垃圾文件过多，占用过多磁盘
flink 持久化 checkpoint
最新发布
11-07
在 Apache Flink 中，**Checkpoint 是实现容错和持久化的核心机制**。它通过定期保存流式作业的全局状态（包括算子状态、键控状态等），使得在发生故障时能够从最近一次成功的 Checkpoint 恢复，从而保证 **Exactly-Once 语义**。 --- ## ✅ 什么是 Checkpoint？ Flink 的 **Checkpoint** 是一个由 JobManager 协调发起的、分布式快照过程，用于记录当前所有任务的状态，并将其持久化到可靠的存储系统中。 > 💡 目标：当 Flink 作业因机器宕机、网络中断等原因失败后，可以从最近的 Checkpoint 恢复运行，不丢失数据也不重复处理。 --- ## 🧩 Checkpoint 的工作原理 1. JobManager 定期向所有 Source Task 发送 `Barrier`； 2. Barrier 随着数据流在 DAG 中传播； 3. 每个 Operator 接收到 Barrier 后暂停处理后续元素，将当前状态异步写入持久化存储； 4. 所有输入流都收到 Barrier 后完成本次 Checkpoint； 5. 最终 JobManager 收到所有确认，标记该 Checkpoint 成功。 这个过程称为 **Chandy-Lamport 算法** 的变种。 --- ## ✅ 如何配置持久化的 Checkpoint？ 要让 Checkpoint 实现真正的“持久化”，必须配置以下两个方面： ### 1. 启用并配置 Checkpointing ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // === 启用 Checkpoint === env.enableCheckpointing(5000); // 每 5 秒触发一次 Checkpoint // === 高级配置项 === env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setCheckpointTimeout(60000); // 超时时间 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500); // 两次间隔最小时间 env.getCheckpointConfig().setMaxConcurrentCheckpoints(1); // 并发数 env.getCheckpointConfig().setTolerableCheckpointFailureNumber(3); // 允许失败次数 env.getCheckpointConfig().enableExternalizedCheckpoints( ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION ); // 关键！保留 Checkpoint ``` 📌 `ExternalizedCheckpointCleanup` 参数说明： | 枚举值 | 行为 | |--------|------| | `DELETE_ON_CANCELLATION` | 取消作业时自动删除 Checkpoint（默认） | | `RETAIN_ON_CANCELLATION` | 取消作业后仍保留 Checkpoint（推荐用于生产） | 👉 如果你不设置 `.RETAIN_ON_CANCELLATION`，那么一旦你手动停止作业，Checkpoint 数据就会被删除！ --- ### 2. 设置状态后端（State Backend）和 Checkpoint 存储路径 Flink 支持多种状态后端，它们决定了状态如何存储以及 Checkpoint 写往哪里。 #### 示例：使用 `FileSystemStateBackend`（推荐） ```java // 设置状态后端为基于文件系统的持久化存储（如 HDFS, S3, OSS） env.setStateBackend(new HashMapStateBackend()); // 指定 Checkpoint 持久化位置（必须是分布式可靠存储） env.getCheckpointConfig().setCheckpointStorage("hdfs://namenode:9000/flink/checkpoints"); ``` 或使用更现代的方式（Flink 1.15+）： ```java env.setStateBackend(new HashMapStateBackend()); env.getCheckpointConfig().setCheckpointStorage( new FileSystemCheckpointStorage("hdfs://namenode:9000/flink/checkpoints") ); ``` ✅ 支持的存储路径协议： - `hdfs://...` — Hadoop HDFS - `s3://...` 或 `s3a://...` — Amazon S3 - `oss://...` — 阿里云 OSS - `gs://...` — Google Cloud Storage - `file://...` — 本地文件系统（仅测试用，不推荐生产） > ⚠️ 注意：`file://` 不具备高可用性，如果节点宕机，状态丢失！ --- ## ✅ Checkpoint 目录结构示例 当你配置了 `hdfs://namenode:9000/flink/checkpoints` 后，Flink 会生成如下结构： ``` /flink/checkpoints/ ├── <job-id>/ │ ├── chk-1/ │ │ ├── ... │ │ └── _metadata │ ├── chk-2/ │ └── completed/ │ └── chk-3/ <-- 成功完成的 Checkpoint │ └── shared/ │ └── taskowned/ └── latest-flink-checkpoint-pointer -> chk-3 # 指向最新成功 Checkpoint ``` 这些数据包含了： - 算子状态（Operator State） - 键控状态（Keyed State，如 ValueState, ListState） - 分布式快照元信息 --- ## ✅ 如何从持久化 Checkpoint 恢复作业？ ### 方法一：从 Savepoint 恢复（推荐用于升级/迁移） 虽然 Savepoint 和 Checkpoint 不同（Savepoint 是手动触发、格式稳定），但你可以先将 Checkpoint 转为 Savepoint： ```bash # 查看最新的 Checkpoint ID curl http://<jobmanager-address>:8081/jobs/<job-id>/checkpoints # 触发 Savepoint（可选） bin/flink savepoint <job-id> hdfs://namenode:9000/flink/savepoints ``` 然后重启作业并指定恢复路径： ```bash bin/flink run -s hdfs://namenode:9000/flink/savepoints/savepoint-abc123 -d job.jar ``` ### 方法二：自动从外部化 Checkpoint 恢复 如果你设置了： ```java env.getCheckpointConfig().enableExternalizedCheckpoints( ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION ); ``` 那么可以这样恢复： ```bash bin/flink run -s hdfs://namenode:9000/flink/checkpoints/<job-id>/chk-<N> job.jar ``` ✅ 这样即使作业被取消，也可以重新提交并继续从上次断点恢复。 --- ## ✅ 生产环境最佳实践 | 建议 | 说明 | |------|------| | 使用 `RETAIN_ON_CANCELLATION` | 防止误删 Checkpoint | | 将 Checkpoint 存储在 HDFS/S3/OSS 等分布式文件系统 | 保证可靠性 | | 定期备份重要 Checkpoint | 防止误操作或存储损坏 | | 避免使用 `MemoryStateBackend` 或 `file://` | 无法真正持久化 | | 监控 Checkpoint 成功率和耗时 | 使用 Flink Web UI 或 Prometheus + Grafana | --- ## ✅ 示例完整代码（Java） ```java public class CheckpointedStreamingJob { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // --- 状态后端 --- env.setStateBackend(new HashMapStateBackend()); // --- Checkpoint 配置 --- env.enableCheckpointing(5000, CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setCheckpointTimeout(60000); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(500); env.getCheckpointConfig().setMaxConcurrentCheckpoints(1); // --- 持久化 Checkpoint --- env.getCheckpointConfig().enableExternalizedCheckpoints( ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION ); // --- 设置 Checkpoint 存储路径 --- env.getCheckpointConfig().setCheckpointStorage( "hdfs://namenode:9000/flink/checkpoints" ); // --- 数据处理逻辑 --- env.addSource(new FlinkKafkaConsumer<>("input-topic", new SimpleStringSchema(), properties)) .keyBy(value -> value) .map(new StatefulMapFunction()) .addSink(new FlinkKafkaProducer<>("output-topic", new SimpleStringSchema(), producerConfig)); env.execute("Stateful Streaming Job with Checkpoint"); } } ``` --- ## ✅ 常见问题排查 | 问题 | 解决方案 | |------|----------| | `ClassNotFoundException: org.apache.hadoop.fs.FileSystem` | 缺少 Hadoop 客户端依赖，添加 `hadoop-client` JAR 包 | | Checkpoint 超时或失败 | 检查网络、磁盘 IO、状态大小；增加超时时间 | | Checkpoint 太慢 | 减小状态大小、启用增量 Checkpoint（RocksDB） | | 恢复时报 `Incompatible checkpoint state` | 算子结构变化导致不兼容，需调整 UIDs 或使用兼容模式 | --- ## ✅ 增量 Checkpoint（高级功能，基于 RocksDB） 如果你的状态很大（GB 级别），建议使用 `RocksDBStateBackend` 并启用增量 Checkpoint： ```java RocksDBStateBackend rocksDBStateBackend = new RocksDBStateBackend("hdfs://namenode:9000/flink/checkpoints", true); env.setStateBackend(rocksDBStateBackend); ``` ✅ 优点： - 只上传变更的部分； - 显著降低 Checkpoint 时间和带宽消耗； ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值