孙金城视频总结(2)_flink流计算容错重启策略

最新推荐文章于 2025-05-02 23:19:52 发布

菜到抠脚的cxy

最新推荐文章于 2025-05-02 23:19:52 发布

阅读量149

点赞数

分类专栏： Apache Flink 文章标签： flink

本文链接：https://blog.youkuaiyun.com/u010034713/article/details/108492321

版权

Apache Flink 专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍了Apache Flink中的不同重启策略，包括noRestart、fixedDelayRestart和failureRateRestart，以及如何通过设置Checkpoint来实现任务的自动重启。通过示例代码展示了各种重启策略的应用场景，帮助读者理解如何在Flink中处理任务失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

地址

noRestart

flink默认,不会重启

public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();
        streamEnv.setRestartStrategy(RestartStrategies.noRestart());//默认的设置,不重启任务
        DataStreamSource<Tuple3<String, Integer, Long>> sourceData = streamEnv.addSource(new SourceFunction<Tuple3<String, Integer, Long>>() {
            @Override
            public void run(SourceContext<Tuple3<String, Integer, Long>> sourceContext) throws Exception {
                int index = 1;
                while (true) {
                    sourceContext.collect(new Tuple3<>("key", index++, System.currentTimeMillis()));
                    Thread.sleep(100);
                }
            }
            @Override
            public void cancel() {}
        });
        sourceData.map(new MapFunction<Tuple3<String, Integer, Long>, String>() {
            @Override
            public String map(Tuple3<String, Integer, Long> item) throws Exception {
                //根据一定条件抛出异常
                if(item.f1 % 5 == 0){
                    throw new Exception(String.format("数据%d出错",item.f1));
                }
                return item.toString();
            }
        }).print();
        streamEnv.execute();
    }

fixedDelayRestart

固定允许重启次数,延迟重启

....
//固定允许重启次数,延迟重启
streamEnv.setRestartStrategy(RestartStrategies.fixedDelayRestart(2, Time.seconds(3)));
....

failureRateRestart

允许时间内重启次数,延迟重启

....
//2秒内如果出错超过两次就停止,否则会一直重启
streamEnv.setRestartStrategy(RestartStrategies.failureRateRestart(2,Time.milliseconds(2000),Time.milliseconds(100)));
....

启动checkPoint

....
//启动checkpoint默认是自动重启
streamEnv.enableCheckpointing(10000);//10秒会自动进行一次checkpoint
....