Flink Checkpoint 与SavePoint 剖析

jasen91

已于 2024-04-08 16:33:34 修改

阅读量270

点赞数 2

分类专栏：大数据开发文章标签： flink 大数据

于 2024-04-08 11:02:41 首次发布

本文链接：https://blog.youkuaiyun.com/meiguangxin112/article/details/137500309

版权

大数据开发专栏收录该内容

10 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Flink默认保留1个Checkpoint，但可通过配置保留更多。若要回滚到特定点，需指定Checkpoint路径。Savepoint提供全局一致性的数据恢复，适用于作业升级。强烈建议手动设置算子ID以确保在不同版本间的顺利升级。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

默认情况下，如果设置了Checkpoint选项，则Flink只保留最近成功生成的1个Checkpoint，而当Flink程序失败时，可以从最近的这个Checkpoint来进行恢复。但是，如果我们希望保留多个Checkpoint，并能够根据实际需要选择其中一个进行恢复，这样会更加灵活，比如，我们发现最近4个小时数据记录处理有问题，希望将整个状态还原到4小时之前

Flink可以支持保留多个Checkpoint，需要在Flink的配置文件conf/flink-conf.yaml中，添加如下配置，指定最多需要保存Checkpoint的个数。
state.checkpoints.num-retained: 20
这样设置以后就查看对应的Checkpoint在HDFS上存储的文件目录 hdfs dfs -ls hdfs://node:9000/flink/checkpoints 如果希望回退到某个
Checkpoint点，只需要指定对应的某个Checkpoint路径即可实现

SavePoint 剖析
3.1 全局一致性快照
Flink通过Savepoint功能可以做到程序升级后，继续从升级前的那个点开始执行计算，保证数据不中断全局，一致性快照。可以保存数据源offset，operator操作状态等信息可以从应用在过去任意做了savepoint的时刻开始继续消费
3.2 checkpoint理论
应用定时触发࿰