Flink之实现kafka端到端的精确一次

最新推荐文章于 2024-11-10 16:21:08 发布

原创

最新推荐文章于 2024-11-10 16:21:08 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #flink #java

本文详细介绍了在Flink和Kafka数据管道中如何实现端到端的精确一次语义，包括利用Flink的checkpoint机制保证内部状态一致性，Kafka消费者保存并重置偏移量以确保源的精确一次，以及使用TwoPhaseCommitSinkFunction实现Kafka生产者的精确一次。

如何实现端到端的精确一次

端到端的状态一致性的实现，需要每一个组件都实现，对于Flink + Kafka的数据管道系统（Kafka进、Kafka出）而言，各组件怎样保证exactly-once语义呢？

内部 —— 利用checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证部的状态一致性

source —— kafka consumer作为source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新消费数据，保证一致性

sink —— kafka producer作为sink，采用两阶段提交 sink，需要实现一个 TwoPhaseCommitSinkFunction
在这里插入图片描述

kafka端到端的精确一次代码实现

既然是端到端的精确一次，那么

source端：精确一次，可以从上次消费的位置重放偏移量

计算：依赖Checkpoint

sink端：精确一次，依赖kafka的两阶段提交

package net.cyan.state;

import com.alibaba.fastjson.JSON;
import net.cyan.POJO.WaterSensor;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache