flink-checkpoint

最新推荐文章于 2025-02-07 08:57:31 发布

原创

最新推荐文章于 2025-02-07 08:57:31 发布 · 419 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了Flink的checkpoint机制，包括如何启用checkpoint、barrier的原理、如何触发checkpoint、代码示例以及如何保留和恢复多个Checkpoint。Flink通过在数据流中插入barrier进行分布式快照，实现容错和状态一致性。

Checkpoint

Flink 容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的checkpoint 是通过分布式快照实现的,所以在flink中这两个词是一个意思。

checkpoint机制需要一个可靠的可以回放数据的数据源(kafka,RabbitMQ,HDFS…)和一个存放state的持久存储（HDFS,S3…）。

1，checkpointConfig

通过调用StreamExecutionEnvironment.enableCheckpointing(internal，mode)启用checkpoint。 internal默认是-1，表示checkpoint不开启，mode默认是EXACTLY_ONCE模式。

可设置checkpoint timeout,超过这个时间checkpoint没有成功，checkpoint终止。默认10分钟。

可设置checkpoint失败任务是否也失败，默认是true。

可设置同时进行的checkpoint数量，默认为1。

2，barrier

将barrier插入到数据流中，作为数据流的一部分和数据一起向下流动。Barrier 不会干扰正常数据，数据流严格有序。一个 barrier 把数据流分割成两部分：一部分进入到当前快照，另一部分进入下一个快照。每一个 barrier 都带有快照 ID，并且 barrier 之前的数据都进入了此快照。Barrier 不会干扰数据流处理，所以非常轻量。多个不同快照的多个 barrier 会在流中同时出现，即多个快照可能同时创建。

Barrier 在数据源端插入，当 snapshot n 的 barrier 插入后，系统会记录当前 snapshot 位置值 n (用Sn表示)。例如，在 Apache Kafka 中，这个变量表示某个分区中最后一条数据的偏移量。这个位置值 Sn 会被发送到一个称为 checkpoint coordinator 的模块。

然后 barrier 继续往下流动，当一个 operator 从其输入流接收到所有标识 snapshot n 的 barrier 时，它会向其所有输