flink流式任务从savepoint恢复方案_flink命令行从保存点恢复的方法-优快云博客

本文链接：https://blog.youkuaiyun.com/zhangjunbaodbd/article/details/112994214

本文介绍了Flink流式任务在遇到故障或版本升级时的恢复策略，包括任务取消时不删除Checkpoint和定时触发Savepoint。通过设置保留Checkpoint，任务可以从已有的Checkpoint直接恢复。此外，还讨论了如何利用Flink的RestAPI定时触发Savepoint，并解决了在Yarn-session中调用API的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

为了方便flink作业以sql形式开发、发布、运维，我们建立了flink任务管理平台，其中有一些任务可能因为一些故障（比如机器down掉）而执行restart strategy无果后失败，如果升级了flink版本需要重新发布一些任务，这就需要从最近的checkpoint恢复任务，保存checkpoint/savepoint是很有必要的。在这里有两种方案，第一种方案是任务取消时不删除checkpoint，第二种方案时定时触发savepoint。

方案一：任务取消时不删除Checkpoint

Checkpoint是为JobManager检测到任务Task失败时自动重新拉起任务设计的，Savepoint是为因为一些原因比如集群迁移、flink版本升级而需要重新发布整个Job设计的，但是在实现机制上这两者几乎是一样的，除非要用到增量Checkpoint，具体可参考链接。
那么在没用到增量Checkpoint的场景下Job是可以直接从保存的Checkpoint的恢复的。通常情况下，如果没有专门设置，Job取消时会把外部存储的Checkpoint删除，可以做如下设置保留Checkpoint文件：

env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);

任务重新发布时只要设置Savepoint路径为保存的checkpoint路径就可以了：

configuration.set("execution.savepoint.path", chkPath);

方案二：定时触发Savepoint

flink 为我们提供了可以触发Savepoint的Rest API，主要有两个，其中一个是触发异步Savepoint的/jobs/:jobid/savepoints API，另外一个是通过上一个接口返回的triggerId获取Savepoint状态的/jobs/:jobid/savepoints/:triggerid API，具体的调用方式可以参考Flink Rest API。既然有了API，我们就可以通过监控运行中的Flink Job定时触发Savepoint，在重新发布Job时指定Savepoint路径就好了。

这里要注意的是，如果把Job发布到Yarn-session，就需要向yarn-session Http URL发送API请求，但是向Yarn的Proxy地址（如http://master:8088/proxy/application_XXXXX/jobs/a5fb42b1637b6470e4e28f391fb717e3/savepoints）发送Post请求是不通的（会报405），这时候就需要找到实际的JobManager 地址发送POST请求。