深入理解Flink ---- End-to-End Exactly-Once语义

Flink二阶段提交方式写入MySQL 项目中需要使用Flink消费Kafka中的数据,然后使用二阶段提交的方式写入到MySQL里面。网上找到了一大堆相关的例子,但是没有一个是靠谱的,全TM是复制粘贴而且还是不能用的那种! 开发+调试,浪费了我好几天的时间,哎,其实也是自己太菜了。所以本文就是解析下Flink二阶段提交的源码,然后给出自己的二阶段提交的实现。如果文章中有错误,非常欢迎大家的指正,多多交流! 网上找到的Flink二阶段方式写入MySQL的代码: 完整代码我就不贴全了,反正都是差不多类似如下的代码: packa... 阅读详情

 

上一篇文章所述的Exactly-Once语义是针对Flink系统内部而言的.

那么Flink和外部系统(如Kafka)之间的消息传递如何做到exactly once呢?

 

问题所在:

如上图,当sink A已经往Kafka写入了数据,而sink B fail.

根据Flink的exactly once保证,系统会回滚到最近的checkpoint,

但是sink A已经把数据写入到kafka了.

Flink无法回滚kafka的state.因此,kafka将在之后再次接收到一份同样的来自sink A的数据,

这样的message delivery便成为了at least once

 

Solution ---- Two phase commit

Flink采用Two phase commit来解决这个问题.

Phase 1: Pre-commit

Flink的JobManager向source注入checkpoint barrier以开启这次snapshot.

barrier从source流向sink.

每个进行snapshot的算子成功snapshot后,都会向JobManager发送ACK.

当sink完成snapshot后, 向JobManager发送ACK的同时向kafka进行pre-commit.

Phase 2:Commit

当JobManager接收到所有算子的ACK后,就会通知所有的算子这次checkpoint已经完成.

Sink接收到这个通知后, 就向kafka进行commit,正式把数据写入到kafka

 

不同阶段fail over的recovery举措:

(1)     在pre-commit前fail over, 系统恢复到最近的checkponit

(2)     在pre-commit后,commit前fail over,系统恢复到刚完成pre-commit时的状态

 

Flink的two phase commit实现 ---- 抽象类TwoPhaseCommitSinkFunction

TwoPhaseCommitSinkFunction有4个方法:

1. beginTransaction()

  开启事务.创建一个临时文件.后续把原要写入到外部系统的数据写入到这个临时文件

2. preCommit()

  flush并close这个文件,之后便不再往其中写数据.同时开启一个新的事务供下个checkponit使用

3. commit()

  把pre-committed的临时文件移动到指定目录

4. abort()

  删除掉pre-committed的临时文件

 

标签: Flink

好文要顶 关注我 收藏该文  

WangTuo
关注 - 0
粉丝 - 4

+加关注

0

0

« 上一篇: 深入理解Flink ---- 系统内部消息传递的exactly once语义 
» 下一篇: 深入理解Flink ---- Metrics的内部结构

Flink实时计算核心原理与实践:从时间状态到流处理架构深度解析 流处理技术是处理海量、高速、持续数据流的核心架构范式,其核心在于对无界数据的有序处理与状态管理。其基本原理是通过事件时间、水位线等机制处理乱序数据,并借助状态管理和检查点机制保障计算的一致性与容错性。这项技术的核心价值在于实现从传统批处理的事后分析到实时流处理的事中决策的跨越,支撑低延迟、高吞吐的数据处理需求。典型应用场景包括实时风控、实时监控、实时推荐和实时ETL等。本文以Apache Flink为例,深入剖析其四大基石——时间、状态、检查点和窗口,并结合生产环境中的状态后端选型与检查点调优等热词,提供从 阅读详情

相关推荐

数据工程实战:构建高可用机器学习数据管道

机器学习 pipeline 本质是数据工程能力的终极压力测试场。它直面真实场景中的数据脏、乱、慢、变——如Schema漂移、时序错乱、资源争抢与状态爆炸,倒逼工程师掌握健壮性设计、可观测性建设与契约化解耦等核心能力。本文聚焦Flink实时特征计算、Feast特征一致性保障、KServe模型服务稳定性及OpenLineage血缘追踪四大关键技术实践,融合数据建模、血缘追踪、故障自愈等热词,提供可复用的生产级方案。适用于正突破‘pipeline总在半夜崩’瓶颈的中级数据工程师,以及需夯实AI底座可靠性的技术决策

abo1977的博客 413

Flink应用学习笔记(六)End-to-end Exactly Once

基于前面对Flink基础的学习,本章在对基础知识点的了解基础上,开始尝试使用Flink进行更进一步的应用。本周在工作中,同事遇到了使用Flink中两阶段提交的机制,因此,在应用篇中对两阶段提交进实现端到端的Exactly Once进行介绍。。当然,本帖子只作为学习用,实际应用场景会更加复杂,关于实践过程中的问题欢迎留言交流。

weixin_37172178的博客 1226

微软数据科学面试核心能力解剖:产品意识、技术严谨性与表达清晰度

数据科学面试本质是考察候选人将模糊业务问题转化为可量化、可归因、可行动方案的能力。其底层逻辑围绕三大支柱展开:Product Sense(产品意识)决定问题定义质量,Technical Rigor(技术严谨性)保障解决方案在真实生产环境中的鲁棒性与权衡意识,Communication Clarity(表达清晰度)则确保技术决策能被跨职能团队理解与协同落地。这些能力共同支撑数据科学家在A/B测试设计、指标归因、系统可扩展性评估及领导力行为验证等典型场景中展现工程化思维与商业敏感度。本文聚焦微软DS面试实战框架

weixin_30425949的博客 381

Flink 之 mysql二阶段提交简述

1. 2PC简介 两阶段提交(two-phase commit, 2PC)是最基础的分布式一致性协议,应用广泛。在分布式系统中,为了让每个节点都能够感知到其他节点的事务执行状况,需要引入一个中心节点来统一处理所有节点的执行逻辑,这个中心节点叫做协调者(coordinator),被中心节点调度的其他业务节点叫做参与者(participant)。 2PC。顾名思义,2PC将分布式事务分成了两个阶段,两个阶段分别为提交请求(投票)和提交(执行)。协调者根据参与者的响应来决定是否需要真正地执行事务,具体流程如下。

weixin_43947279的博客 1630

金融风控中决策树的端到端工程实践:从数据清洗到可审计规则

决策树不仅是机器学习中的基础分类算法,更是一种将业务逻辑转化为可执行、可解释、可审计规则的技术范式。其核心原理在于通过递归分裂构建分层if-else结构,天然支持模型透明性与业务对齐。在金融风控等强监管、高可解释性要求的场景中,决策树的技术价值远超预测性能本身——它能生成业务人员可读、合规部门可审、运营团队可执行的白盒规则。典型应用场景包括信用评分、反欺诈识别、实时授信决策及监管合规报告生成。本文聚焦真实金融项目落地过程,深入解析时间切片对齐、业务感知分箱、缺失值建模、PMML服务化部署等关键工程细节,覆盖

weixin_34355559的博客 430

【信息科学与工程学】【数据科学】数据科学领域-第十一篇 数据集成算法01

​​降低维护成本​​:通过抽象通用流程(如),当需要修改故障注入逻辑(如更换混沌工具)时,只需修改一处代码,无需修改所有测试用例;​​提升扩展性​​:通过参数化故障场景(如),可快速生成新的故障用例(如针对新服务的延迟故障),适应系统迭代需求;​​增强场景真实性​​:通过组合混沌操作(如),模拟真实生产环境中的复杂故障链(如“网络延迟+服务宕机”),更准确地验证系统韧性;​​提高分析效率​​:通过自动化结果分析(如),快速获取MTTR、错误率等关键指标,减少人工分析时间。

weixin_49199313的博客 957

深入理解Flink ---- End-to-End Exactly-Once语义(两阶段提交)

上一篇文章所述的Exactly-Once语义是针对Flink系统内部而言的. 那么Flink和外部系统(如Kafka)之间的消息传递如何做到exactly once呢? 问题所在: 如上图,当sink A已经往Kafka写入了数据,而sink B fail. 根据Flink的exactly once保证,系统会回滚到最近的checkpoint, 但是sink A已经把数据写入到...

hellojoy的博客 1173

Flink-MysqlTwoPhaseCommit.zip

Flink MySQL二阶提交代码,为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失,如果执行到一半过程任务失败了,从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后,前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。

深入理解Flink --- End-to-End(端到端) Exactly-Once语义(两阶段提交)

Flink内部的Exactly-Once语义是基于Asynchronous Barrier Snapshotting(ABS)实现的. 那么Flink和外部系统(如Kafka)之间的消息传递如何做到exactly once呢? 问题所在: 如上图,当sink A已经往Kafka写入了数据,而sink B fail。 根据Flink的exactly once保证,系统会回滚到最近的checkpoint,但是sink A已经把数据写入到kafka了。 Flink无法回滚kafka的state,因此,kafka

雾岛与鲸的博客 634

flink-1.7-中文文档(官网英文翻译过来).pdf

flink中文文档 非常详细 快速上手入门 5分钟上手开发 流计算入门权威资料 上手flink 必看!

防火墙学习5---虚拟系统和跟系统通过路由表互访

虚拟系统与跟系统互访可分为虚拟系统访问根系统和跟系统访问虚拟系统。

weixin_48030849的博客 1034

5分钟搞懂Flink CDC:实时数据同步的降维打击

还在为数据同步的延迟和复杂度头疼吗?面对MySQL到Doris的实时同步需求,你是否还在编写复杂的ETL脚本?今天,我们将一起探索Flink CDC如何用声明式配置彻底改变数据集成的工作方式,让你在五分钟内掌握实时数据同步的核心技巧。 ## 挑战:传统数据同步的三大痛点 你可能会遇到这样的情况:业务系统要求实时报表,但数据同步总是延迟数小时;数据库表结构变更后,同步任务频繁失败;多表合并的需求

gitblog_00972的博客 409

汇川Inoproshop CIA402轴配置避坑指南:从虚轴到实轴

CIA402协议是CANopen定义运动控制设备行为的子协议,汇川EtherCAT伺服如SV630P底层均基于此。其原理是通过对象字典(如0x6040控制字、0x607A目标位置)实现PDO映射,将伺服行为抽象为PLC可编程的轴对象。技术价值在于统一不同驱动器的控制接口,降低运动控制开发门槛。典型应用场景包括丝杆机构、旋转台的位置控制与电子齿轮同步。在汇川Inoproshop中,新手常因单位换算、虚轴配置、PDO映射等环节卡壳,导致轴不动或飞车。本文系统梳理CIA402轴配置的完整流程与避坑技巧,助你快速上

weixin_34080951的博客 412

技术深度解析:Apache SeaTunnel如何重塑企业数据集成架构

面对日益复杂的异构数据源集成挑战,传统ETL工具在实时性、可扩展性和运维复杂度方面已显疲态。Apache SeaTunnel作为新一代多模态数据集成平台,通过创新的架构设计和技术实现,为企业数据湖仓建设提供了全新的解决方案。 ## 架构演进:从批处理到流批一体的技术突破 现代企业数据架构面临的核心矛盾在于批处理与流处理的割裂。传统方案需要维护两套独立的ETL系统,导致数据一致性难以保障,运维成

gitblog_00499的博客 640

WSL2迁移后用户名不见了?一招教你快速恢复Ubuntu22.04默认用户

本文针对WSL2迁移后Ubuntu 22.04默认用户名丢失的常见问题,提供了详细的诊断与修复方案。通过分析迁移底层逻辑,指导用户使用`ubuntu2204.exe config --default-user`命令或配置`/etc/wsl.conf`文件快速恢复用户身份,并涵盖权限修复、冲突解决及自动化迁移脚本等进阶内容,确保子系统迁移后环境完整可用。

web39explorer的博客 559

IMA知识库:从0到1的架构设计与实践

本文探讨了AI时代知识库系统的架构设计与演进路径。通过分析知识入库、知识管理和知识应用三大核心业务流程,提出了应对数据多样性、处理标准化、流量洪峰等挑战的解决方案。重点介绍了基于统一数据格式的解耦设计、异步处理架构、服务拆分策略以及权限安全体系,构建了一个稳定、高效且可扩展的知识库系统。文章强调优秀架构需要持续演进,通过识别薄弱点不断优化,最终实现技术方案与业务需求的平衡。

lovehu6686的博客 1740

Flink CDC 3.x:从编程范式到声明式数据管道的技术革命

在实时数据集成领域,Flink CDC 3.x版本不仅仅是一次版本升级,而是一场深刻的技术范式转变。这个新一代流式数据集成平台正在重新定义企业如何构建实时数据管道,从传统的编程式开发转向声明式配置,从单一表同步演进为多表统一管理。本文深度解析Flink CDC 3.x如何通过架构重构解决大规模数据同步的痛点,并提供从技术决策到实施落地的完整实践指南。 ## 实时数据集成的新挑战:为何需要范式转变

gitblog_00351的博客 400

UCD9081EVM电源时序管理:硬件配置与GUI操作全解析

电源时序管理是复杂电子系统设计的核心环节,它通过精确控制多路电源的上电/下电顺序,确保核心芯片免受浪涌电流或电压倒灌的损害。其原理基于状态机逻辑与电压监控,技术价值在于将硬连线时序转化为可编程配置,极大提升了系统可靠性与设计灵活性。在服务器、通信设备、工控系统等高可靠性应用场景中,时序控制器是实现稳定启动与故障保护的关键。本文以德州仪器UCD9081评估模块为例,深入剖析其硬件跳线配置与图形用户界面操作,涵盖I2C地址设置、电压监控分压计算、时序条件与故障响应策略等工程实践要点,帮助工程师快速掌握这一电源时

weixin_42696271的博客 303

基于 Apache Flink 的大规模准实时数据分析平台

本文来自 Flink Forward Asia 2019 Lyft 公司的分享,作者是徐赢和高立,感谢! # 福利 # Flink Forward Asia 2019PPT 下载链接给你们准备好啦!公众号里面回复 ffa 即可下载。 如果觉得文章对你有帮助,请转发朋友圈、点在看,让...

http://www.54tianzhisheng.cn/ 332

【推荐100个unity插件】基于关节物理控制的自行车、电动车、摩托车模拟解决方案——Simple Bicycle Physics

摘要 "简易自行车物理"是Unity的自行车模拟资源包,支持Animation Rigging,实现基于关节物理的自行车控制。兼容所有平台和渲染管线,包含预制体、材质、脚本等资源。核心脚本Bicycle Controller管理自行车物理属性,支持自定义角色设置和移动端控制。安装后,用户可快速配置骑行场景,调整转向、速度、重心等参数,并支持地面贴合、兔跳等功能。适用于开发各类自行车模拟游戏和应用。 (字数:149)

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 1367

【ESD专题】从原理上分析TVS管PCB Layout的经验法则

我们常常会听到的一些经验法则,按这些经验法则去做,一般也不会有什么问题,但是到底是为什么呢? 没有从原理上分析和证明的时候,往往在Layout之后还要担心实际测试结果怎么样。或是在实际测试出问题后,根本无法进行分析,难道说修改一个版本就好了?那要从哪里修改呢?也无从下手呀。...

一点硬件 1448

构建企业级数据流全景图:从事件驱动架构到实时数仓实践

在数据驱动的业务决策中,数据流架构是支撑实时分析、智能推荐和风控系统的技术基石。其核心原理在于通过分层解耦和事件驱动模型,将复杂的数据处理链路标准化、可视化,从而解决数据孤岛、链路冗长和故障难定位等工程难题。这一架构的技术价值在于实现了数据从产生到消费的端到端可观测与可治理,显著提升了数据交付的可靠性和团队协作效率。典型的应用场景包括电商实时推荐、金融风控和IoT数据分析等。本文以Hermes架构全景图为例,深入探讨了如何基于Kafka、Flink和ClickHouse等组件,构建从数据采集、实时处理到服务

weixin_34318272的博客 346

14、5G物理层的灵活解决方案:广义频分复用(GFDM)

广义频分复用(GFDM)作为一种高度灵活的5G物理层多载波调制方案,能够满足多样化应用场景的需求,包括高吞吐量的比特管道通信、低功耗高连接数的物联网、超低延迟的触觉互联网以及广覆盖的无线区域网。通过参数化配置,GFDM可适配LTE资源网格,实现与现有系统的兼容与共存。其支持多种解调方式、干扰消除技术、OQAM映射及预编码机制,兼具低带外发射、高频谱效率和强鲁棒性。GFDM还能统一描述OFDM、FBMC、FTN等多种经典与先进波形,成为5G及未来通信系统中极具潜力的通用波形框架。

gold8的专栏 109

滴滴PB级数仓实战:从分层架构到流批一体与数据治理

数据仓库作为企业数据资产的核心载体,其核心原理在于通过分层建模(如ODS、DWD、DWS)对原始数据进行清洗、整合与汇总,构建统一、可信的数据底座。这一技术体系的价值在于将分散的数据转化为可服务于分析、决策与智能应用的高质量信息。在出行等实时性要求极高的应用场景中,传统批处理模式面临挑战,流批一体架构应运而生。以Apache Flink为代表的流处理引擎,凭借其精确一次(Exactly-Once)的状态一致性保证和强大的事件时间处理能力,成为构建实时数仓、处理海量实时数据的关键技术。本文以滴滴出行的大数据实

weixin_34302798的博客 336

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Java大厂面试全解析:从基础到分布式系统设计

Java作为企业级开发的主流语言,其技术栈深度与分布式架构能力已成为大厂面试的核心考察点。从JVM原理到Spring Boot自动配置机制,开发者需要理解底层实现而不仅停留在API使用层面。在分布式系统领域,微服务架构、缓存策略和事务一致性等关键技术决定了系统的高可用性与扩展性。本文通过电商秒杀系统等典型场景,详解Redis+Lua实现库存原子扣减、Seata AT模式分布式事务等工程实践,帮助开发者构建应对高并发场景的系统设计能力。掌握这些核心技术点,不仅能提升面试通过率,更是成为资深Java工程师的必经

weixin_33895516的博客 361

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

上一篇: Flink消费Kafka到HDFS实现及详解
下一篇: Spring Tool Suite 3.9.5 安装使用阿里巴巴java代码规约插件
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值