Flink之重启策略

目录

1、固定延迟重启策略

2、失败率重启策略

3、不重启策略


       在设置完 CheckPoint() 检查点机制后,不设置重启策略的话,,可以无限重启程序,那么设置的检查点机制也就没有什么意义了。因此,在生产实践中,当设置完检查点之后,我们要与之设置好重启策略,一般有三种策略可选。

1、固定延迟重启策略

 固定重启,最多重启三次,每次时间间隔 5s
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3, Time.seconds(5)));

在新开的对应端口发送数据:nc -lk 9999

在map方法中添加测试逻辑,当输入A时,启动检查点重启策略,程序重启仍可正常运行

public Tuple2<String, Integer> map(String value) throws Exception {

    if (value.equals("A")){
        int p = 1/0;
    }

    return Tuple2.of(value,1);
}

 

再次输入Java后,程序仍在运行,证明重启策略生效。

 

当输入三次A后,程序跳出,终止运行。

 

2、失败率重启策略

失败率重启,在一分钟内最多重启三次,每次间隔 2 s
env.setRestartStrategy(RestartStrategies.failureRateRestart(3,Time.minutes(1),Time.seconds(2)));

在新开的对应端口发送数据:nc -lk 9999

在控制台查看运行日志结果得知,当重启三次之后,输入Java仍可进行结果输出,当输入第四次A时候,程序跳出。

3、不重启策略

env.setRestartStrategy(RestartStrategies.noRestart());

在新开的对应端口发送数据:nc -lk 9999

在控制台查看日志信息,输入一次A程序就跳出。

Flink提供了多种重启策略,以应对任务失败或需要重启的场景。以下是几种常见的重启策略及其配置方法: 1. **固定延迟重启策略(Fixed DelayRestartStrategy)**: - **配置方式**: ```yaml restart-strategy: fixed-delay restart-strategy.fixed-delay.attempts: 3 restart-strategy.fixed-delay.delay: 10s ``` - **说明**:该策略会在固定的时间间隔内进行多次重启尝试。每次重启之间有一个固定的延迟时间。 2. **失败重启策略(FailureRateRestartStrategy)**: - **配置方式**: ```yaml restart-strategy: failure-rate restart-strategy.failure-rate.max-failures-per-interval: 3 restart-strategy.failure-rate.failure-rate-interval: 5min restart-strategy.failure-rate.delay: 10s ``` - **说明**:该策略在一定时间间隔内允许的最大失败次数。如果在指定的时间间隔内失败次数超过限制,则不再重启。 3. **无重启策略(NoRestartStrategy)**: - **配置方式**: ```yaml restart-strategy: none ``` - **说明**:该策略不会进行任何重启操作,任务失败后会直接停止。 4. **指数延迟重启策略(ExponentialDelayRestartStrategy)**: - **配置方式**: ```yaml restart-strategy: exponential-delay restart-strategy.exponential-delay.delay: 10s restart-strategy.exponential-delay.max-delay: 60s restart-strategy.exponential-delay.random-factor: 0.5 ``` - **说明**:该策略会根据失败的次数逐渐增加重启的延迟时间,最大延迟时间有一个上限。 5. **自定义重启策略(CustomRestartStrategy)**: - **配置方式**: ```java RestartStrategies.customRestartStrategy(FixedDelayRestartStrategyConfiguration configuration) .withMaxAttempts(3) .withDelay(Duration.ofSeconds(10)) .build(); ``` - **说明**:用户可以自定义重启策略,通过编程方式进行配置。 这些重启策略可以根据具体的应用场景和需求进行选择和配置,以确保Flink任务的稳定性和可靠性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yangjiwei0207

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值