Flink四种重启策略(Restart Strategies)介绍

本文介绍了Flink的四种重启策略:固定延迟、故障率、无重启和后背策略。默认策略是固定延迟,允许无限次尝试,每次尝试间隔可配置。故障率策略基于错误频率决定是否重启。无重启策略则不进行任何尝试。后背策略依赖集群设定。可通过ExecutionEnvironment设置作业特定的重启策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Flink支持不同的重启策略,可以控制在发生故障时如何重新启动作业。可以使用默认重新启动策略启动集群,该策略在未定义任何特定于作业的重新启动策略时始终使用。如果使用重新启动策略提交作业,此策略将覆盖群集的默认设置。

重启(Restart Strategies )策略种类:

1)固定延迟重启策略(Fixed Delay Restart Strategy)
2)故障率重启策略(Failure Rate Restart Strategy)
3)没有重启策略(No Restart Strategy)
4)后背重启策略(Fallback Restart Strategy)

默认重启策略是通过Flink的配置文件设置的flink-conf.yaml。定义策略的配置key为: restart-strategy。如果未启用检查点,则使用“无重启”策略。如果激活了检查点但未配置重启策略,则使用“固定延迟策略”:restart-strategy.fixed-delay.attempts: Integer.MAX_VALUE尝试重启。重新启动策略列表如下所示:

除了定义默认重启策略之外,还可以为每个Flink作业定义特定的重启策略。通过调用setRestartStrategyon上的方法以编程方式设置此重新启动策略ExecutionEnvironment。请注意,这也适用于StreamExecutionEnvironment。

例: 如何在Flink Job中设置固定延迟重启策略。如果发生故障,系统会尝试重新启动作业3次,并在连续重启尝试之间等待10秒。

val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
  3, // number of restart attempts
  Time.of(10, TimeUnit.SECONDS) // delay
))

 

重启策略的配置项

固定延迟重启策略(Fixed Delay Restart Strategy)

固定延迟重启策略尝试给定次数重新启动作业。如果超过最大尝试次数,则作业最终会失败。在两次连续重启尝试之间,重启策略等待一段固定的时间。

例:

val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
  3, // number of restart attempts
  Time.of(10, TimeUnit.SECONDS) // delay
))

故障率重启策略(Failure Rate Restart Strategy)

故障率重启策略在故障后重新启动作业,但是当failure rate超过(每个时间间隔的故障)时,作业最终会失败。在两次连续重启尝试之间,重启策略等待一段固定的时间。

例:

val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.failureRateRestart(
  3, // max failures per unit
  Time.of(5, TimeUnit.MINUTES), //time interval for measuring failure rate
  Time.of(10, TimeUnit.SECONDS) // delay
))

没有重启策略(No Restart Strategy)

作业直接失败,不尝试重启。可以通过编程方式设置no restart策略:

val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.noRestart())

后背重启策略(Fallback Restart Strategy)

使用群集定义的重新启动策略。这对于启用检查点的流式传输程序很有帮助。默认情况下,如果没有定义其他重启策略,则选择固定延迟重启策略。

Flink提供了多种重启策略,以应对任务失败或需要重启的场景。以下是几种常见的重启策略及其配置方法: 1. **固定延迟重启策略(Fixed DelayRestartStrategy)**: - **配置方式**: ```yaml restart-strategy: fixed-delay restart-strategy.fixed-delay.attempts: 3 restart-strategy.fixed-delay.delay: 10s ``` - **说明**:该策略会在固定的时间间隔内进行多次重启尝试。每次重启之间有一个固定的延迟时间。 2. **失败率重启策略(FailureRateRestartStrategy)**: - **配置方式**: ```yaml restart-strategy: failure-rate restart-strategy.failure-rate.max-failures-per-interval: 3 restart-strategy.failure-rate.failure-rate-interval: 5min restart-strategy.failure-rate.delay: 10s ``` - **说明**:该策略在一定时间间隔内允许的最大失败次数。如果在指定的时间间隔内失败次数超过限制,则不再重启。 3. **无重启策略(NoRestartStrategy)**: - **配置方式**: ```yaml restart-strategy: none ``` - **说明**:该策略不会进行任何重启操作,任务失败后会直接停止。 4. **指数延迟重启策略(ExponentialDelayRestartStrategy)**: - **配置方式**: ```yaml restart-strategy: exponential-delay restart-strategy.exponential-delay.delay: 10s restart-strategy.exponential-delay.max-delay: 60s restart-strategy.exponential-delay.random-factor: 0.5 ``` - **说明**:该策略会根据失败的次数逐渐增加重启的延迟时间,最大延迟时间有一个上限。 5. **自定义重启策略(CustomRestartStrategy)**: - **配置方式**: ```java RestartStrategies.customRestartStrategy(FixedDelayRestartStrategyConfiguration configuration) .withMaxAttempts(3) .withDelay(Duration.ofSeconds(10)) .build(); ``` - **说明**:用户可以自定义重启策略,通过编程方式进行配置。 这些重启策略可以根据具体的应用场景和需求进行选择和配置,以确保Flink任务的稳定性和可靠性。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值