flink 从savepoint、checkpoint中恢复数据

---

前言

提示：flink checkpoint重启：

  flink作业因为故障导致restart strategy失败或升级flink版本重新发布任务，这时就需要从最近的checkpoint恢复。一般而言有两种方案，第一种方案是开启checkpoint且任务取消时不删除checkpoint（调整参数execution.checkpointing.externalized-checkpoint-retention），第二种方案是定时触发savepoint（编写代码调用flink rest api）。

一、savepoint是什么？

   checkpoint的生命周期由flink来管理，flink负责checkpoint的创建、维护和释放，过程中没有与用户交互。与checkpoint不同，savepoint则由用户来创建、维护和删除的，savepoint是事先规划好的、手动备份并用于恢复。
  Savepoint 由两部分组成：稳定存储（例如 HDFS…) 上包含二进制文件的目录（通常很大），和元数据文件（相对较小）。 稳定存储上的文件表示作业执行状态的数据镜像。 Savepoint 的元数据文件以（相对路径）的形式包含（主要）指向作为 Savepoint 一部分的稳定存储上的所有文件的指针。

二、如何从savepoint/checkpoint中恢复数据

  savepoint/checkpoint恢复逻辑是一致的，即保存一份快照数据，重启作业时从快照数据重启

1.flink sql流作业

从kafka消费数据写入hive分区表中，采用的flink on yarn模式

CREATE TABLE kafka_flinkSqlTest(
  f1 STRING,
  f2 STRING
) WITH (
  'connector' = 'kafka'