Flink-读取kafka的数据及Checkpoint配置

最新推荐文章于 2025-10-15 10:38:45 发布

原创

最新推荐文章于 2025-10-15 10:38:45 发布 · 1.7k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #flink #java

public class KafkaSourceStream {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(3);

        env.enableCheckpointing(5000);
        env.setStateBackend(new FsStateBackend("/"));
        // 精准一次性语义
        env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
        env.getCheckpointConfig().setCheckpointTimeout(50000);
        env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
        // 将检查点的元数据信息定期写入外部系统，如果job失败时，检查点不会被清除。
        env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
        // 如果job失败后恢复，从最近的检查点恢复job。
        env.getCheckpointConfig().setPreferCheckpointForRecovery(true);

        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.3.160:9092");
        props.p