实践数据湖iceberg 第二十六课 checkpoint设置方法

原创已于 2022-04-24 11:23:35 修改 · 2.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

于 2022-04-01 16:36:48 首次发布

iceberg 专栏收录该内容

44 篇文章

订阅专栏

本文详细介绍了Flink与数据湖方案Iceberg在实际应用中的配置方法，包括通过`enableCheckpointing()`、TableEnvironment配置、SQL客户端执行以及全局`flink-conf.yaml`配置。内容涵盖检查点间隔、mini-batch设置、DML同步选项等，旨在帮助读者理解并掌握Flink作业与Iceberg表的稳定交互策略。

Python3.8

Conda

Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

系列文章目录

1.env.enableCheckpointing() 直接配

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.enableCheckpointing(10000L);

2.在TableEnvironment 中通过conf配置

StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

		   
		 // TableEnvironment tableEnv = TableEnvironment.create(settings);
		  Configuration configuration = tableEnv.getConfig().getConfiguration();
		  configuration.setString("table.exec.mini-batch.enabled", "true");
		  configuration.setString("table.exec.mini-batch.allow-latency", "5 s");
		  configuration.setString("table.exec.mini-batch.size", "50");
		  configuration.setString("table.dml-sync", "false");
		  configuration.setString("execution.checkpointing.interval", "3s");

3. 在sql客户端执行

set execution.checkpointing.interval=10sec;

4.flink-conf.yaml 配置全局参数

restart-strategy: fixed-delay
restart-strategy.fixed-delay.attempts: 3
restart-strategy.fixed-delay.delay: 30s
execution.checkpointing.interval: 1min
execution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION
state.checkpoints.dir: hdfs:///flink/checkpoints
state.backend: filesystem

您可能感兴趣的与本文相关的镜像

Python3.8

Conda

Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本