flink实战--如何自定义具有Exactly-Once语义的sink（TwoPhaseCommitSinkFunction）

最新推荐文章于 2024-06-12 11:38:18 发布
最新推荐文章于 2024-06-12 11:38:18 发布
阅读量2.4k 收藏 2
点赞数
分类专栏： Flink学习必读系列 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/aA518189/article/details/105528406
版权
本文深入探讨了Flink如何实现Exactly-Once语义，主要介绍两阶段提交（TwoPhaseCommitSinkFunction）的原理和流程。内容包括预提交阶段、提交事务、预提交结束后的checkpoint回调以及数据源和数据输出端的角色。通过自定义mysqlSink的案例，展示了如何在Flink中实现Exactly-Once语义。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

Exactly-Once 语义

           exactly-once语义指的是每个输入的事件只影响最终结果一次。即使机器或软件出现故障，既没有重复数据，也不会丢数据。分布式系统都是关于取舍平衡，基本上存在三种类型的传递语义：最多一次at-most-once，至少一次at-least-once和正好一次exactly-once。其中正好一次exactly-once实现最为困难，本篇文章详细介绍一下flink如何实现exactly-once语义。

Flink一次性语义实现原理

           说到flink的Exactly-Once，要区分实现的范围。在 Flink 1.4.0 之前，Exactly-Once 语义仅限于 Flink 应用程序内部，并没有扩展到 Flink 数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink Exactly-Once 投递实现浅析 一致性
九师兄
10-05 965
随着近来越来越多的业务迁移到 Flink 上，对 Flink 作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。虽然不少实时系统（e.g. 实时计算/消息队列）都宣称支持 exactly-once，exactly-once 投递似乎是一个已被解决的问题，但是其实它们更多是针对内部模块之间的信息投递，比如 Kafka 生产（produc...
Flink中 End-to-End Exactly-Once数据一致性语义详解
LBJ_小松鼠的博客
03-09 800
1- 数据处理语义 对于批处理，fault-tolerant（容错性）很容易做，失败只需要replay，就可以完美做到容错。 对于流处理，数据流本身是动态，没有所谓的开始或结束，虽然可以replay buffer的部分数据，但fault-tolerant做起来会复杂的多。 流处理引擎通常为应用程序提供了三种数据处理语义: 1）、最多一次：At-most-once：数据可能丢失，没有进行处理 2）、至少一次：At-least-once，数据可能被处理多次 3）、精确一次：Exactly-once，
flink二阶段提交mysql_flink-----实时项目---day07-----1.Flink的checkpoint原理分析 2. 自定义两阶段提交sink（MySQL） 3 将数据写入Hba...
weixin_32968105的博客
01-20 621
1.Flink中exactly once实现原理分析生产者从kafka拉取数据以及消费者往kafka写数据都需要保证exactly once。目前flink中支持exactly once的source不多，有kafka source；能实现exactly once的sink也不多，如kafka sink、streamingFileSink，其都要开启checkpoint才能实现exactly on...
FlinkKafkaProducer两阶段提交-TwoPhaseCommitSinkFunction过程简述
m0_47444428的博客
01-20 1228
两阶段提交 1 FlinkKafkaProducer继承了TwoPhaseCommitSinkFunction 类 2 TwoPhaseCommitSinkFunction类继承了RichSinkFunction类且实现了CheckPointedFunction接口以及CheckPointListener接口 3 FlinkKafkaProducer重写了TwoPhaseCommitSinkFunction类...
flink的TwoPhaseCommitSinkFunction怎么做才能提供精准一次保证
lixia0417mul2的博客
10-22 1190
TwoPhaseCommitSink如何做到精准一次输出
Flink使用指南：TwoPhaseCommitSinkFunction实现二阶段提交保证数据一致性
徐腾瑞的博客
08-18 4873
系列文章目录 Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 1. 原理思想 Flink自带的TwoPhaseCommitSinkFunction可以实现2pc提交方式保证数据一致性，我们先来看下实现这个类的方法： 2pc提...
Exactly-once 只有一次的两个阶段提交 （Exactly-once two-phase commit）
weixin_52346735的博客
03-12 277
Data Source 会先从 kafka 里面读取数据 JobManger 会向 Data Source 中 发起 Checkpoint 指令并同时向 S ource 发送 barrier （检查点分界线）， 如果这个Source 有多个并行，那么每个Source 都会有一个 barrier 这个 barrier 会把 Data Source 中的状态保存起来持久化到 State Backend 中 ， 然后 barrier 会向下个算子Window 中传递，然后我们假如会在 Window ...
Apache Flink 如何保证 Exactly-Once 语义
06-12 1227
Apache Flink 通过状态一致性检查点和 Two-Phase Commit 协议来确保 Exactly-Once 语义。这些机制确保了数据在分布式系统中的一致性和准确性，从而提高了大数据处理的可靠性和准确性。在实际应用中，我们可以根据具体需求配置 Flink 的检查点策略和外部存储系统的写入策略，以实现更好的性能和可靠性。
Flink生产---14Exactly-once 实现原理解析
weixin_42642502的博客
06-06 1487
Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。 Flink 是如何实现“端到端的精确一次处理”语义的呢？ 通常情况下，流式计算系统都会为用户提供指定数据处理的可靠模式功能，用来表明在实际生产运行中会对数据处理做哪些保障。一般来说，流处理引擎通常为用户的应用程序提供三种数据处理语义：最多一次、至少一次和精确一次。 1最多一次（At-most-Once）：这种语义理解起来很简单，用户的数据只会被处理一次，不管
Flink 数据保存 Redis(自定义Redis Sink ) 实现exactly-once
weixin_43947279的博客
11-23 1803
通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 exactly-once 。 1.代码部分 1.1 config.properties配置文件 redis.host=192.168.204.210 redis.port=6379 redis.password=123456 redis.timeout=5000 redis.db=0 1.2 FlinkUtils工具类 package c
Flink-MysqlTwoPhaseCommit.zip
02-27
Flink MySQL二阶提交代码，为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失，如果执行到一半过程任务失败了，从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后，前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。
Flink笔记(二十三)：Flink 整合 Kafka (实现 Exactly-Once)
01-07
Flink 整合 Kafka 基本步骤，请参考：Flink 基础整合 Kafka。本文仅用来介绍 Flink 整合 Kafka 实现 Exactly-Once。 1.什么是Exactly-Once        恰好处理一次的意思。不管在处理的时候是否有异常发生，计算的结果都一样。即使在发现机器或者软件故障时，都不会出现数据丢失以及重复处理的情况。（就是每条数据只会被处理一次）        Flink 中哪些 Source 、Sink支持 Exactly-Once 呢，Flink官方文档(链接)为我们做了描述。如下图所示： Source： Sink：        我们发现很多都是 a
Flink保证exactly-once机制介绍：checkpoint及TwoPhaseCommitSinkFunction
chbxw
07-17 1740
Flink保证exactly-once机制介绍：checkpoint及TwoPhaseCommitSinkFunction
flink数据sink入mysql（exactly-once）
weixin_44990574的博客
08-11 4262
flink消费数据sink入mysql，exactly-once事务模式
Flink状态一致性之exactly-once
LSur_king的博客
04-05 1517
幂等写入： 一个操作重复执行很多次，但只导致一次结果的更改，也就是说后面重复执行就不起作用了。eg: pow(e,x)求多阶导还等于自己，HashMap，多次写入key相同的键值对等。 但需要注意的是，也会出现中间状态短暂的不一致，最终结果一致的情景。eg：flink的checkpoint还有流批结合做关联模型转换的ETL，这些不满足强一致性，但可实现最终一致性。 事务写入： 构建的事务对应着checkpoint，等到checkpoint真正完成的时候，才把所有对应的结果写入sink系统...
Flink进阶（四）：Flink中的Exactly Once
weixin_42155491的博客
04-05 854
Flink内部Exactly Once 通过checkpoint和状态来保证 checkpoint流程： Flink在数据流中加入了一个叫barrier的东西（中文名栅栏），barrier在SourceTask处生成，一致到SinkTask，期间所有的Task只要碰到barrier就会触发自身进行快照。barrier的作用就是为了把数据区分开，barrier之前的数据是本次checkpoint之前...
Flink-JdbcSink
qq_40382400的博客
06-29 946
【代码】Flink-JdbcSink。
Flink 实现端到端的exactly-once
weixin_42051673的博客
09-24 538
在流处理中，一致性可以分为三个级别： 1）at-most-once：最多一次，实际上就是对 不处理错误的委婉说法 2）at-least-once：最少一次，这是最简单的处理错误的方法，当出现错误时，重发。最终结果可能会大于准确值，但绝不会小于准确值 3）exactly-once：精确一次，这指的是系统发生错误时，也会得到准确的结果 当spark-streaming实现exactly-once时，付出了性能代价。而flink在框架内部即保证了exactly-once，且不会牺牲很大的性能。 之前我们
Flink1.12-End-to-End Exactly-Once一次性语义
weixin_48143996的博客
07-02 645
流处理引擎通常为应用程序提供了三种数据处理语义：最多一次、至少一次和精确一次。 如下是对这些不同处理语义的宽松定义(一致性由弱到强)： At most noce < At least once < Exactly once < End to End Exactly once At-most-once-最多一次 有可能会有数据丢失 这本质上是简单的恢复方式，也就是直接从失败处的下个数据开始恢复程序，之前的失败数据处理就不管了。可以保证数据或事件最多由应用程序中的所有算子处理一次。这意味着如果
flink两段式提交sink flink二阶段提交案例
最新发布
03-11
### Flink 中 Two-Phase Commit Sink 的实现 Flink 提供了 `TwoPhaseCommitSinkFunction` 接口来简化 sink 函数的实现，该接口能够保障端到端的 exactly-once 语义[^1]。为了理解如何利用此功能，在实践中通常会涉及到以下几个方面： #### 设计原理 两阶段提交协议（2PC, Two Phase Commit Protocol），是一种用于分布式事务处理的经典算法。它通过引入协调者(Coordinator)和参与者(Participants)，分准备(Prepare)和提交(Commit/Rollback)两个阶段完成整个操作。 对于 Flink 来说，sink 负责将数据写入外部系统并参与 checkpoint 过程中的 barrier 对齐工作。当 checkpoint 到达时，sink 需要先执行预写逻辑(prepare phase)，即把待确认的数据暂存起来；一旦收到 checkpoint 完成的通知，则继续做最终化动作(commit phase)，正式保存这些记录或者回滚它们。 #### 实现要点 具体来说，开发者需要继承自 `TwoPhaseCommitSinkFunction<T, PendingTransaction, Transaction>` 类型，并重载三个核心方法: - **beginTransaction()**: 创建一个新的事务实例。 - **preCommit(transaction)**: 在 checkpoint 前调用，负责持久化未决变更至安全位置以便后续恢复使用。 - **commit(pendingTransactions)** 和 rollback(failedTransactions): 分别用来确认成功或失败后的清理工作。 下面给出一段简单的伪代码作为参考： ```java public class MyCustomTwoPhaseCommitSink extends TwoPhaseCommitSinkFunction<MyEvent, Long, List<Long>> { @Override protected void beginTransaction(Long txId){ // 开始新事物 } @Override public void invoke(MyEvent value, Context context, Collector<Tuple2<String, Integer>> out) throws Exception { // 处理每条输入事件 } @Override protected void preCommit(List<Long> pendingTxns) throws Exception{ // 执行预备提交前的操作 } @Override protected void commit(List<List<Long>> allPendingTxns) throws Exception{ // 正式提交所有已完成的事物 } @Override protected void abort(List<List<Long>> abortedTxns) throws Exception{ // 清除已取消的事物状态 } } ``` 上述例子展示了怎样构建一个基于 TwoPhaseCommitSinkFunction 的自定义 sink 组件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值