超级会员免费看
本文介绍了如何在Flink中利用checkpoint机制和Kafka的两阶段提交实现端到端的状态一致性。Flink KafkaProducer011支持exactly-once语义，确保数据不丢失。在实现过程中，需注意消费者设置和checkpoint超时时间应大于Kafka事务提交时间。
目录
内部
利用checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性
source
kafka consumer作为source，可以将偏移量保存下来，故障恢复时可以由连接器重置偏移量，重新消费数据，保证一致性
sink
kafka producer作为sink，采用两阶段提交sink，需要实现一个TwoPhaseCommitSinkFunction
FlinkKafkaProducer011已实现了exactlyonce支持
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
