Flink exactly-once 实战笔记

Kafka之参数配置 文章目录Kafka版本Producer参数配置bootstrap.serverskey.serializervalue.serializeracksbuffer.memorymax.block.mscompression.typeretriesretry.backoff.msbatch.size与linger.msmax.request.sizerequest.timeout.msclient.i... 阅读详情

 

Snak1enn关注

0.3532019.05.21 10:59:06字数 1,501阅读 1,162

Flink-Kafka

众所周知,Flink在很早的时候就通过Checkpointing提供了exactly-once的semantic,不过仅限于自身或者是从KafkaConsumer中消费数据。而在Flink 1.4版本的时候加入了赫赫有名的TwoPhaseCommitSinkFunction,提供了End-to-End的exatcly-once语言,当然是在需要下游支持回滚的情况下,具体的概念和设计方式官网已经写的比较清楚,就不多加赘述。而对于KafkaProducer,Kafka在0.11版本之后支持transaction,也就意味着支持对写入数据的commit和rollback,在通过Flink写入到Kafka的应用程序中可以达到exactly-once的效果。

接下来展示一下如何在Flink应用程序中激活exactly-once语义。对于SourceFunction大家随意采用一种即可,文件,kafka topic等皆可。而主要部分是在于对FlinkKafkaProducer的初始化。我使用的是Flink1.7版本使用的Producer类为FlinkKafkaProducer011,观察它的构造函数,很容易发现有的构造函数中需要你传入一个枚举变量semantic, 有三种可选值NONE, AT_LEAST_ONCE,EXACTLY_ONCE,而默认值为AT_LEAST_ONCE,很显然我们在这里需要使用EXACTLY_ONCE。不过在此之前,我们需要仔细阅读一下Flink官网Flink-kafka-connector的内容,其中提到,Kafka broker的transaction.max.timeout.ms默认为15分钟,而FlinkKafkaProducer011默认的transaction.timeout.ms为1个小时,远远超出了broker的最大超时时间,这种情况下如果你的服务挂了超过15分钟,就会造成数据丢失。所以如果需要你的producer支持的更长的事务时间就需要提高kafka broker transaction.max.timeout.ms的值。下面是一个简单的实例去使用Exactly-once语义的FlinkKafkaProducer。

FlinkKafkaProducer<String> producer = new FlinkKafkaProducer<>(
    topics,
    new KeyedSerializationSchemaWrapper<>(new SimpleStringSchema()),
    properties,
    FlinkKafkaProducer011.Semantic.EXACTLY_ONCE
)

这么做的话Flink sink到Kafka中在大部分情况下就都能保证Exactly-once。值得注意的是,所有通过事务写入的Kafka topic, 在消费他们的时候,必须给消费者加上参数isolation.level=read_committed,这是因为Kafka的事务支持是给写入的数据分为committed和uncomitted,如果使用默认配置的consumer,读取的时候依然会读取所有数据而不是根据事务隔离。

flink读写kafka保证端到端exactly-once flink读写kafka保证exactly-once 阅读详情

相关推荐

Flink实现Exactly Once

flink中的exactly once

zwyoozwz的博客 3068

消息队列之-Kafka原理讲解

一、入门 1.1 简介 一、入门 1.1 简介 Apache Kafka 是一个分布式流媒体平台 流媒体平台有三个关键功能 发布和订阅记录流,类似于消息队列或企业消息传递系统 以容错的持久方式存储记录流 记录发生时的处理流 Kafka 通常用于两大类应用: 构建可在系统或应用程序之间可靠获取数据的实时流数据管道 构建转换或相应数据流的实时流应用程序...

wanglei_storage的博客 8516

Flink的是如何实现exactly_once的?(CheckPoint详解)

文章目录一、Exactly_Once(写且仅写一次)二、以FlinkKafkaProducer为例解析1、CheckPoint 源码详解1.1、 CheckpointedFunction中有两个方法:1.2、 CheckpointListener中有一个方法:2、一图总结2.1、流程图2.2、步骤 一、Exactly_Once(写且仅写一次) 目前可以实现exactly_once的不多: sou...

IT_但丁的博客 1882

kafka配置参数详解

kakfa配置参数详解

wyq1357的博客 2515

Flink 整合 Kafka (实现 Exactly-Once)

Flink学习笔记(二十三):Flink 整合 Kafka 基本步骤,请参考:Flink 基础整合 Kafka。本文仅用来介绍 Flink 整合 Kafka 实现 Exactly-Once。 1.什么是Exactly-Once        恰好处理一次的意思。不...

扛麻袋的少年的博客 4630

【Flink实战系列】Flink 是如何实现 exactly-once 语义的

Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置(即是偏移量),并保存offest,这时offest也可以理解为是一种状态. Flink是怎么保证...

JasonLee实时计算 9787

大数据-73 Kafka 事务与幂等性详解:配置、原理与实战案例全解析

Kafka 的事务与幂等性机制为分布式消息处理提供了强一致性保障。事务配置涵盖 Broker、Producer 与 Consumer 三端,确保消息的“只一次”发送与消费。通过 transactional.id 实现跨会话事务识别,借助 ProducerID 与 SequenceNumber 避免重复消息。幂等性机制可自动去重,事务机制支持消费-转换-发送的原子操作。配置参数如 transaction.timeout.ms 控制事务时限,isolation.level 决定消费级别。

谢谢你的喜欢 我们一起无限进步 3658

51单片机智能小车

最近学校举办了一个智能小车比赛,比赛内容为用手机蓝牙控制小车拥有5个功能,分别是超声波舵机避障,测距(显示在LCD1602上), 红外跟随,循迹还有蓝牙控制小车前进后退左转又转以及停止。 文章目录 蓝牙控制所有功能 一、蓝牙控制前进后退左转右转停止 二、舵机超声波避障加测距 三、红外跟随 四、循迹 五、代码部分 六、完整代码 前言 基于51单片机的智能小车是比较基础的小车,很适合初学者学习 提示:以下是本篇文章正文内容,下面案例可供参考 一、整体思路 这款小...

m0_55977420的博客 1万+

[Flink错误]The transaction timeout is larger than the maximum value allowed by the broker

错误分析: 报错信息如下: The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms). 官网解释如下: flink官网解释 默认情况下,Kafka broker 将 transaction.max.timeout.ms 设置为 15 分钟。此属性不允许为大于其值的 producer 设置事务超时时间。 默认情况下,Fl

LangLang1111111的博客 5562

保姆级教程:用Protege 5.5.0从零构建你的第一个知识图谱(附实战案例文件)

本文提供了一份详细的Protege 5.5.0使用指南,从零开始构建知识图谱。涵盖环境配置、本体结构设计、实例填充到可视化展示的全流程,特别适合初学者快速掌握知识建模技术。通过实战案例演示,帮助读者理解如何定义类、属性及建立实例关系,是学习知识图谱构建的实用教程。

weixin_42548816的博客 556

Ollama模型路径迁移实战:Windows/Mac/Linux三平台保姆级教程(附常见问题排查)

本文提供了一份详细的Ollama模型路径迁移教程,涵盖Windows、macOS和Linux三大平台。通过设置OLLAMA_MODELS环境变量或创建符号链接,指导用户将模型从默认路径安全迁移至新位置,以释放系统盘空间或提升性能。教程包含迁移前的准备、分平台步骤、迁移后的验证以及常见问题排查,确保迁移过程平滑可靠。

js777的博客 1184

Flink exactly-once 实战笔记(精确一次写入外部数据)

Flink-Kafka 众所周知,Flink在很早的时候就通过Checkpointing提供了exactly-once的semantic,不过仅限于自身或者是从KafkaConsumer中消费数据。而在Flink 1.4版本的时候加入了赫赫有名的TwoPhaseCommitSinkFunction,提供了End-to-End的exatcly-once语言,当然是在需要下游支持回滚的情况下,具体的...

hellojoy的博客 1955

基于IMU的纯惯性导航轨迹绘制实践与优化

本文深入探讨了基于IMU的纯惯性导航轨迹绘制实践。通过修改开源组合导航算法KF-GINS,屏蔽GPS更新并简化地球参数,实现了仅依赖IMU数据的轨迹解算。文章详细介绍了代码改造、轨迹可视化方法,并分析了误差累积的根本原因,为深入理解惯性导航原理与传感器融合的必要性提供了宝贵的实践经验。

ff678的博客 399

2024年最全携程2024大数据开发一面(3),阿里P7大牛亲自讲解

在 Flink 的后台任务管理中,我们可以看到 Flink 的哪个算子和 task 出现了反压(网络流控)。资源调优即是对作业中的 Operator 的并发数(parallelism)、CPU(core)、堆内存(heap_memory)等参数进行调优。故障率重启策略(Failure Rate Restart Strategy):故障率重启策略在故障后重新作业,当设置的故障率(failure rate)超过每个时间间隔的故障时,作业最终失败。可以根据状态来提交预提交的数据,也可删除预提交的数据。

2401_84166376的博客 736

grafana使用方法

1、点击仪表盘2、新建仪表盘3、选择数据源4、选择查询的条件5、美化。

2403_87359664的博客 327

在SAP系统中,公司间关联交易(Intercompany Transactions)或内部往来主要有三种经典的实现模式。这些模式的选择取决于企业的业务复杂度、自动化需求以及对实时性的要求

SAP系统中公司间关联交易的三种实现模式分析:1)手工记账模式(FB60/FB70)适用于低频交易,灵活性高但易出错;2)SD/MM跨公司销售采购模式(VA01/VF01/ME21N)适用于真实业务流转,业务财务集成度高;3)自动清算模式(F.13/ICR)适合高频交易集团企业,支持实时自动对账。关键成功要素包括正确配置贸易伙伴字段、统驭科目及专用凭证类型。建议根据企业规模、业务复杂度及自动化需求选择合适模式,其中大型集团优先考虑自动对账方案以确保合并报表准确性。

金牌架构师 563

Flink的CheckPoint(EXACTLY_ONCE,AT_LEAST_ONCE)

消息语义概述, 在分布式系统中,构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka中,broker可能会crash,在producer推送数据至topic的过程中也可能会遇到网络问题。根据producer处理此类故障所采取的提交策略类型,我们可以获得不同的语义: at-most-once:如果在ack超时或返回错误时producer不重试,则该消息可能最终不会写入Kafka,...

长乐的博客 4270

LLC变压器,常见的4大问题解决方案

其中之一是当付边的绕组的匝数或层数较多的时候,层间或匝间寄生电容和付边的漏感发生一个寄生的振荡,轻载的时候,这个振铃的幅度会达到很高,导致输出电压比设计的要高许多。但当输入是低压的时候,开关频率比较低,LLC谐振回路的增益较大,因而比较容易发生变压器饱和的问题。由于LLC变压器工作在LC谐振状态,LC谐振回路有个特点就是Q值问题,在这里Q值是大于1的,因而就会有实际加在变压器上的电压要比输入电压高的问题,因而在设计变压器的时候就必须考虑到这一点,否则变压器就不是工作在你设计的磁感应强度上。

1267

Flink Exactly-Once 语义

Flink实现Exactly-Once语义的核心机制包括分布式快照和两阶段提交。分布式快照通过Barrier机制捕获作业全局一致状态,确保故障恢复后状态准确。两阶段提交协议保证Sink到外部系统的原子性写入,要求外部系统支持事务或幂等操作。关键条件是Source可重放、State持久化、Sink支持事务。典型实现如Kafka事务写入和JDBC幂等设计。故障时从最近Checkpoint恢复,重置偏移量并回滚未提交事务。通过异步Checkpoint、Barrier对齐优化等提升性能。相比At-Least-Onc

csdn_tom_168的博客 1257

STM32CubeMX之DAC产成正弦波

“在之前的文章中曾经介绍过用TIM产生PWM做DAC用,STM32定时器输出PWM做DAC。部分型号的STM32单片机内部有专用的DAC,本篇文章将介绍如何用内部DAC+DMA产生正弦波...

zhang062061的专栏 1513

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Flink保证exactly-once机制介绍:checkpoint及TwoPhaseCommitSinkFunction

Flink保证exactly-once机制介绍:checkpoint及TwoPhaseCommitSinkFunction

chbxw 2388

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Flink Kafka 端到端 Exactly-Once 分析

摘要:本文基于 Flink 1.9.0 和 Kafka 2.3 版本,对 Flink kafka 端到端 Exactly-Once 进行分析及notifyCheckpointComp...

Ververica的博客 2159

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Flink Exactly-Once 投递实现浅析

  转载自:http://www.whitewood.me/2018/10/16/Flink-Exactly-Once-%E6%8A%95%E9%80%92%E5%AE%9E%E7%8E%B0%E6%B5%85%E6%9E%90/ 随着近来越来越多的业务迁移到 Flink 上,对 Flink 作业的准确性要求也随之进一步提高,其中最为关键的是如何在不同业务场景下保证 exactly-once ...

公众号[大数据技术与应用实战],分享大数据实战案例 2091

Flink端到端的精确一次(Exactly-Once)

Flink端到端的精确一次。

大头皮鞋的博客 3937
上一篇: 二段式提交和三段式提交
下一篇: Flink exactly-once 实战笔记
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值