超级会员免费看
本文通过一个实例详细介绍了如何在 Flink 中配置和测试 checkpoint，包括设置 checkpoint 间隔、模式、容错机制等，并演示了在 job 出现异常后如何从 checkpoint 恢复，以及使用 HiveCatalog 进行数据源操作。最后，提供了在 YARN 上提交任务以及从 checkpoint 恢复任务的命令。
环境：
CentOS7.6
CDH6.3.1
Flink1.4.0
PYTHON3.7.12
其中，Flink已经集成到CDH6.3.1中，如需获取集成过程，请关注本博客。
简介：
从一个例子出发，模拟一遍checkpoint的设置，基于checkpoint的任务的运行时，及模拟job出现异常后从checkpoint恢复的过程。
以下为python脚本（checkpoint_test.py）：
import logging
import sys
from pyflink.table import (EnvironmentSettings, TableEnvironment, DataTypes)
from pyflink.datastream import StreamExecutionEnvironment, TimeCharacteristic, CheckpointingMode, ExternalizedCheckpointCleanup, RocksDBStateBackend, FsStateBackend, MemoryStateBackend
from pyflink.table import StreamTableEnvironment, EnvironmentSettings, TableConfig, DataTypes, CsvTableSink, WriteMode, SqlDialect
f
订阅专栏 解锁全文
扫一扫
5702
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
