Flink 状态一致性

最新推荐文章于 2024-09-05 16:54:49 发布
最新推荐文章于 2024-09-05 16:54:49 发布
阅读量4.6k 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： flink 入门到精通 文章标签： Flink 状态一致性 Flink 状态一致性理论 Flink 状态一致性总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/congge_study/article/details/123780960
本文深入探讨Flink的状态一致性，包括AT-MOST-ONCE、AT-LEAST-ONCE和EXACTLY-ONCE三种类型。重点解析了如何通过一致性检查点、幂等写入和两阶段提交实现端到端的exactly-once保证，同时阐述了Flink与Kafka结合实现端到端一致性的情况。

Flink 状态一致性主要内容

  • 状态一致性
  • 一致性检查点（checkpoint）
  • 端到端（end-to-end）状态一致性
  • 端到端的精确一次（exactly-once）保证
  • Flink+Kafka 端到端状态一致性的保证

什么是状态一致性

  •  有状态的流处理，内部每个算子任务都可以有自己的状态；
  • 对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确；
  • 一条数据不应该丢失，也不应该重复计算；
  • 在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正确的；

状态一致性分类

1、

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据_Flink_Java版_状态一致性(3)-幂等写入---Flink工作笔记0078
添柴程序猿的专栏
03-24 899
然后我们来看幂等写入是怎么回事,这里就是说 e^x (n) =e^x 这个对自然数的x次方,求导,结果还是他自身,这个是数学上的一个公式,意思就是说, 类似于,我们往,hashmap中存入key,value 比如传入 name,zhangsan ,当我再往里面 存入一样的key的时候,比如name ,zhangsan,这个时候,虽然是存了多次,但是 实际的效果和存了一次是一样的. 可以看到,如果我们在5 10 15 这里添加了一个Barrier做了一个检查点,然后到了20 25 30 这..
源码解读 | Flink DataStream GenericWriteAheadSink 深度解析
最新发布
SmartSi
10-19 724
Flink 1.13.6 的 GenericWriteAheadSink 通过检查点机制实现端到端精确一次语义。该抽象类继承自 AbstractStreamOperator，采用预写日志模式，将输入元素暂存至状态后端，仅在检查点完成时提交数据。核心机制包括：1）构造器初始化检查点提交器；2）open()清理已提交的检查点；3）processElement()序列化数据到任务管理的状态流；4）检查点恢复时重建待提交列表。通过 CheckpointCommitter 标记成功提交的检查点，确保故障恢复时数据不丢
Flink保证数据不丢失不重复、状态一致性
博客
11-05 6059
如图：奇数和偶数分流分别计算 概念 计算结果要保证准确。 一条数据不应该丢失，也不应该重复计算。 遇到故障时可以恢复状态，恢复以后的重新计算结果应该也是完全正确的。 状态一致性分类（级别） AT-MOST-ONCE（最多一次） 当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重播丢失的数据。即最多处理一次事件。 AT-LEAST-ONCE（至少一次） （不能保证数据不被重复处理） 在大多数真实应用场景，我们希望不丢事件。但是有些事件还可能被处理多次。 ...
Flink输出端保证之幂等写入和事务写入
weixin_43816721的博客
05-23 812
flink的输出端保证之幂等写入方式和事务写入
Flink 之状态一致性浅述
Doctor_96的博客
09-17 480
1. 概念 有状态的流处理，内部每个算子任务都可以有自己的状态 对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确。 一条数据不应该丢失，也不应该重复计算 在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正确的。 2. 分类 AT-MOST-ONCE（最多一次） 当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重播丢失的数据。At-most-once AT-LEAST-ONCE（至少一次） 在大多数的真实应用场景，我们希望不丢失事件。这种类
【Flink系列六】Flink里面的状态一致性
qq_33592535的博客
12-07 1482
目前我们看到的一致性保证都是由流处理实现的，也就是说都是在Flink流处理内部保证的；有状态的流处理，内部每个算子任务都可以有自己的状态，对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确。当一个任务在运行过程中出现故障时，可以根据 Checkpoint 的信息恢复到故障之前的某一状态，然后从该状态恢复任务的运行。（比如上篇文章说的，处理到数据6，7的时候任务挂了，从checkpoint=5恢复，会重新消费6、7的数据，端到端的状态一致性保证，并不意味着不重复处理数据）
17-flink-1.10.1-flink 状态一致性
m0_37813354的博客
10-24 821
1
Flink状态一致性之exactly-once
LSur_king的博客
04-05 1613
幂等写入： 一个操作重复执行很多次，但只导致一次结果的更改，也就是说后面重复执行就不起作用了。eg: pow(e,x)求多阶导还等于自己，HashMap，多次写入key相同的键值对等。 但需要注意的是，也会出现中间状态短暂的不一致，最终结果一致的情景。eg：flink的checkpoint还有流批结合做关联模型转换的ETL，这些不满足强一致性，但可实现最终一致性。 事务写入： 构建的事务对应着checkpoint，等到checkpoint真正完成的时候，才把所有对应的结果写入sink系统...
flink端到端一致性保证
cheng_jing_2022的博客
09-05 935
这个完整应用的一致性，就叫做“端到端（end-to-end）的状态一致性”，它取决于三个组件中最弱的那一环。对于这样的数据源，故障后我们即使通过检查点恢复之前的状态，可保存检查点之后到发生故障期间的数据已经不能重发了，这就会导致数据丢失。我们知道，对于Flink内部来说，检查点机制可以保证故障恢复后数据不丢（在能够重放的前提下），并且只处理一次，所以已经可以做到exactly-once的一致性语义了。有了Flink的检查点机制，以及可重放数据的外部数据源，我们已经能做到at-least-once了。
Flink的状态一致性
qq_42456324的博客
11-28 1696
通常来说，状态一致性分为三个级别。
Flink的端到端的一致性保证以及二阶段提交
sghuu的博客
12-25 2565
Flink的端到端的一致性保证 状态一致性： 有状态的流处理，内部每个算子都可以有自己的状态 对于处理器内部而言，所谓的状态一致性，其实就是我们所说的计算的结果要保证准确 一条数据都不应该丢失，也不应该重复计算同一个数据 在遇到故障时可以恢复，恢复之后重新计算，计算的结果也应该正确不受影响 故障恢复时的三种一致性要求： AT-MOST-ONCE（最多一次） 当任务故障时，最简单的做法是什么都不干，...
Flink之状态一致性
heroking
02-01 877
一、状态一致性分类 最多一次（at most once） 当故障发生，什么都不干，既不恢复丢失状态，也不重播丢失的数据。 至少一次（at least once） 所有事件都处理了，有的事件可能被处理多次 精确一次（exactly once） 所有事件仅仅被处理一次 二、端到端的状态一致性 （1）内部保证（checkpoint） （2）source端（可重设数据的读取位置） （3）sink端（从...
11. Flink状态一致性
Leeyehong_self的专栏
04-03 618
1. 状态一致性 有状态的流处理，内部每个算子任务都可以有自己的状态； 对于流处理器内部（没有接入sink）来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确； 一条数据不应该丢失，也不应该重复计算； 在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正常的； 1.1 状态一致性分类： AT_MOST_ONCE（最多一次），当任务故障时最简单做法是什么都不干，既不恢复丢...
Flink中的状态一致性
weixin_41655296的博客
05-02 1012
1 状态一致性的分级 at most once :故障发生之后，计数结果可能丢失 at least once :表示计数结果可能大于正确值，但绝不会小于正确值。也就是说，计数程序在发生故障后可能多算，但是绝不会少算。 exactly once :这指的是系统保证在发生故障后得到的计数结果与正确值一致。 2 端到端状态一致性 端到端的一致性保证，意味着结果的正确性贯穿了整个流处理应用的始终；每一个组件都保证了它自己的一致性，整个端到端的一致性级别取决于所有组件中一致性最弱的组件。 具体可以划分如.
Flink| 状态一致性
大JAVA解决方案
04-26 600
1. 状态一致性 有状态的流处理，内部每个算子任务都可以有自己的状态； 对于流处理器内部（没有接入sink）来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确； 一条数据不应该丢失，也不应该重复计算； 在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正常的； 状态一致性分类： AT_MOST_ONCE（最多一次），当任务故障时最简单做法...
Flink 的状态一致性
YYDS_emmm的博客
08-31 520
Flink 的状态一致性 什么是状态一致性 有状态的流处理，每个算子任务都可以有自己的状态。所谓的状态一致性， 其实就是我们所说的计算结果要保证准确。一条数据不应该被丢失，也不应该被 重复计算。在遇到故障时可以恢复状态，恢复以后得重新计算，结果应该也是完 全正确的。 状态一致性的分类 At-Most-Once（最多一次）： 当任务故障时，最简单的做法就是什么都不干，既不恢复丢失的数据，也不 重复数据。最多处理一次事件。数据可能会丢失。但是处理的速度快。 At-Least-Once（至少一次） ： 在大多数的
flink实现状态一致性
weixin_43806056的博客
11-20 693
状态一致性分类： At-Most-Once（最多一次） 当任务故障时，最简单的做法是什么都不干，即不恢复丢失的状态，也不重播丢失的数据。 At-most-once的语义是最多处理一次的事件 At-Least-Once(至少一次) 在大多数的真实应用场景中，我们希望不丢失事件。这种类型的保障成为at-least-once，意思就是所有的事件都得到处理，而且有一些事件还可能被处理多次 ExactLy-...
flink数据一致性
08-15
如果某个操作失败，Flink可以使用保存的快照来回滚到之前的状态，从而保证数据的一致性。 总的来说，Flink通过事件时间和水位线机制以及事务支持来保证数据的一致性，在流处理和批处理场景下都能提供可靠的数据处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值