大数据_Flink_Java版_状态一致性(2)-端到端状态一致性---Flink工作笔记0077

本文深入探讨Flink的一致性检查点机制,解释如何确保在故障发生时能精确恢复。通过举例说明,阐述了当数据丢失时,如何利用Kafka等数据源实现端到端的状态一致性。同时讨论了Sink端的数据一致性问题,提出了幂等写入和事务写入两种解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

然后我们来看,一致性检查点,可以看到,

一致性检查点,是flink故障恢复机制的核心,可以记录所有算子的状态,并且只记录一次,

精确恢复一次对吧.

我们可以看看,sum_even,这里的6  2+4   sum_odd 这里的9   1+3+5可以看到

现在是,5这个数据处理完了,就把所有的状态都记录了.把5这个数据处理完以后,

所有的节点状态在jobmanager记录了可以看到,5,6,9都记录了,恢复的时候用

然后我们再看如果,数据继续走 sum_even 2+4+6  sum_odd: 1+ 3+5 这个时候

7还没有过来,在过来的过程中,系统挂掉了,这个时候恢复,可以看到没有问题

因为是从 5

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值