Flink之Checkpoint

Flink的Checkpoint机制通过分布式快照确保容错,涉及checkpointConfig配置、barrier插入和触发机制。配置包括启用checkpoint、设置超时、故障策略等。barrier在数据流中同步状态,而异步储存快照涉及operator的state存储和AsyncCheckpointRunnable的执行,最终由CheckpointResponder确认完成。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Checkpoint

Flink 容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的checkpoint 是通过分布式快照实现的,所以在flink中这两个词是一个意思。

  • checkpoint用来保证任务的错误恢复。任务失败可以从最新的checkpoint恢复。
  • checkpoint机制需要一个可靠的可以回放数据的数据源(kafka,RabbitMQ,HDFS…)和一个存放state的持久存储(HDFS,S3…)。

1,checkpointConfig

  • 通过调用StreamExecutionEnvironment.enableCheckpointing(internal,mode)启用checkpoint。 internal默认是-1,表示checkpoint不开启,mode默认是EXACTLY_ONCE模式。

  • 可设置checkpoint timeout,超过这个时间checkpoint没有成功,checkpoint终止。默认10分钟。

  • 可设置checkpoint失败任务是否也失败,默认是true。

  • 可设置同时进行的checkpoint数量,默认为1。

2,barrier

  • 将barrier插入到数据流中,作为数据流的一部分和数据一起向下流动。Barrier 不会干扰正常数据,数据流严格有序。一个 barrier 把数据流分割成两部分:一部分进入到当前快照,另一部分进入下一个快照。每一个 barrier 都带有快照 ID,并且 barrier 之前的数据都进入了此快照。Barrier 不会干扰数据流处理,所以非常轻量。多个不同快照的多个 barrier 会在流中同时出现,即多个快照可能同时创建。
  • Barrier 在数据源端插入,当 snapshot n 的 barrier 插入后,系统会记录当前 snapshot 位置值 n (用Sn表示)。例如,在 Apache Kafka 中,这个变量表示某个分区中最后一条数据的偏移量。这个位置值 Sn 会被发送到一个称为 checkpoint coordinator 的模块。
  • 然后 barrier 继续往下流动,当一个 operator 从其输入流接收到所有标识 snapshot n 的 barrier 时,它会向其所有输出流插入一个标识 snapshot n 的 barrier。当 sink operator (DAG 流的终点)从其输入流接收到所有 barrier n 时,它向 the checkpoint coordinator 确认 snapshot n 已完成。当所有 sink 都确认了这个快照,快照就被标识为完成。

3,如何触发checkpoint?

  • 在生成EcecutionGraph过程中会注册状态监听器CheckpointCoordinatorDeActivator,负责监听job状态,job变为运行状态时,执行startCheckpointScheduler方法定时执行ScheduledTrigger,ScheduledTrigger中执行的是triggerCheckpoint方法。
  • 在进行一些条件检查之后,首先会构造出一个PendingCheckpoint实例,然后再放到队列里,只有当jobmanager收到SinkTask发来的checkpoint保存成功的消息后,这个PendingCheckpoint才会变成CompletedCheckpoint,这才代表一次checkpoint保存操作真正的完成了。
final PendingCheckpoint checkpoint = 
new PendingCheckpoint(
    job,
    checkpointID,
    timestamp,
    ackTasks,
    props,
    checkpointStorageLocation,
    executor);

if (statsTracker != null) {
    PendingCheckpointStats callback = statsTracker.reportPendingCheckpoint(
        checkpointID,
        timestamp,
        props);

    checkpoint.setStatsCallback(callback);
}

再往下看,最重要的方法是向executions发送保存checkpoint的消息,通知taskmanager进行本地的checkpoint保存。

// send the messages to the tasks th
`flink.checkpoint.timeout` 和 `flink.checkpoint.interval` 是 Flink 中与检查点相关的两个参数,它们之间存在一定的关系。 - `flink.checkpoint.timeout` 参数定义了执行检查点的超时时间,即当执行检查点操作时,如果超过了指定的超时时间仍未完成,则会被视为失败。 - `flink.checkpoint.interval` 参数定义了两次检查点之间的时间间隔,即多久执行一次检查点。 这两个参数的关系可以通过以下几点来说明: 1. `flink.checkpoint.timeout` 应该大于等于 `flink.checkpoint.interval`。确保超时时间足够长以容纳一个完整的检查点操作,否则可能会导致检查点失败。 2. 如果 `flink.checkpoint.timeout` 被设置得过小,可能会导致检查点操作在超时之前无法完成。在这种情况下,可以适当增加 `flink.checkpoint.timeout` 的值,以便给检查点操作足够的时间来完成。 3. 如果 `flink.checkpoint.interval` 被设置得过小,系统将更频繁地进行检查点操作,从而导致更高的系统开销和资源消耗。因此,在设置 `flink.checkpoint.interval` 时需要综合考虑系统的性能要求和资源限制。 需要根据应用程序的实际情况和需求来评估和调整 `flink.checkpoint.timeout` 和 `flink.checkpoint.interval` 的值。同时,还应该考虑 Flink 集群的配置和硬件资源是否能够支持所选的超时时间和间隔。在设置之后,建议进行性能测试和实际生产环境的实验来验证和优化这两个参数的值。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值