Flink Kafka Connector与Exactly Once剖析

(exactly-once)Flink 如何实现端到端的一致性(kafka+flink+kafka) flink 内部实现 exactly-once 原理!Checkpoint 原理!两次提交原理 阅读详情

Flink Kafka Connector与Exactly Once剖析

 

Flink Kafa Connector是Flink内置的Kafka连接器,它包含了从Kafka Topic读入数据的Flink Kafka Consumer以及向Kafka Topic写出数据的Flink Kafka Producer,除此之外Flink Kafa Connector基于Flink Checkpoint机制提供了完善的容错能力。本文从Flink Kafka Connector的基本使用到Kafka在Flink中端到端的容错原理展开讨论。

1.Flink Kafka的使用

在Flink中使用Kafka Connector时需要依赖Kafka的版本,Flink针对不同的Kafka版本提供了对应的Connector实现。

版本依赖

既然Flink对不同版本的Kafka有不同实现,在使用时需要注意区分,根据使用环境引入正确的依赖关系。

 <dependency>

<groupId>org.apache.flink</groupId>

<artifactId>${flink_kafka_connector_version}</artifactId>

<version>${flink_version}</version>

</dependency>

在上面的依赖配置中flinkversion指使用Flink的版本,{flink_version}指使用Flink的版本,flinkv​ersion指使用Flink的版本,{flink_connector_kafka_version}指依赖的Kafka connector版本对应的artifactId。下表描述了截止目前为止Kafka服务版本与Flink Connector之间的对应关系。

Flink官网内容Apache Kafka Connector(https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/connectors/kafka.html)中也有详细的说明。
在这里插入图片描述
基本使用

明确了使用的Kafka版本后就可以编写一个基于Flink Kafka读/写的应用程序「本文讨论内容全部基于Flink 1.7版本和Kafka 1.1.0版本」。根据上面描述的对应关系在工程中添加Kafka Connector依赖。

    <dependency>
    
    <groupId>org.apache.flink</groupId>
    
    <artifactId>flink-connector-kafka_2.11</artifactId>
    
    <version>1.7.0</version>
    
    </dependency>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

下面的代码片段是从Kafka Topic「flink_kafka_poc_input」中消费数据,再写入Kafka Topic「flink_kafka_poc_output」的简单示例。示例中除了读/写Kafka Topic外,没有做其他的逻辑处理。

public staticvoidmain(String[] args) {

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();



/** 初始化Consumer配置 */

Properties consumerConfig = newProperties();

consumerConfig.setProperty("bootstrap.servers", "127.0.0.1:9091");

consumerConfig.setProperty("group.id", "flink_poc_k110_consumer");



/** 初始化Kafka Consumer */

FlinkKafkaConsumer<String> flinkKafkaConsumer =

newFlinkKafkaConsumer<String>(

"flink_kafka_poc_input",

newSimpleStringSchema(),

consumerConfig

);

/** 将Kafka Consumer加入到流处理 */

DataStream<String> stream = env.addSource(flinkKafkaConsumer);



/** 初始化Producer配置 */

Properties producerConfig = newProperties();

producerConfig.setProperty("bootstrap.servers", "127.0.0.1:9091");



/** 初始化Kafka Producer */

FlinkKafkaProducer<String> myProducer =

newFlinkKafkaProducer<String>(

"flink_kafka_poc_output",

newMapSerialization(),

producerConfig

);

/** 将Kafka Producer加入到流处理 */

stream.addSink(myProducer);



/** 执行 */

env.execute();

}



class MapSerialization implements SerializationSchema<String> {

public byte[] serialize(Stringelement) {

returnelement.getBytes();

}

}

Flink API使用起来确实非常简单,调用addSource方法和addSink方法就可以将初始化好的FlinkKafkaConsumer和FlinkKafkaProducer加入到流处理中。execute执行后,KafkaConsumer和KafkaProducer就可以开始正常工作了。

Flink Kafka的容错

众所周知,Flink支持Exactly-once semantics。什么意思呢?翻译过来就是「恰好一次语义」。流处理系统中,数据源源不断的流入到系统、被处理、最后输出结果。我们都不希望系统因人为或外部因素产生任何意想不到的结果。对于Exactly-once语义达到的目的是指即使系统被人为停止、因故障shutdown、无故关机等任何因素停止运行状态时,对于系统中的每条数据不会被重复处理也不会少处理。

01 Flink Exactly-once

Flink宣称支持Exactly-once其针对的是Flink应用内部的数据流处理。但Flink应用内部要想处理数据首先要有数据流入到Flink应用,其次Flink应用对数据处理完毕后也理应对数据做后续的输出。在Flink中数据的流入称为Source,数据的后续输出称为Sink,对于Source和Sink完全依靠外部系统支撑(比如Kafka)。

Flink自身是无法保证外部系统的Exactly-once语义。但这样一来其实并不能称为完整的Exactly-once,或者说Flink并不能保证端到端Exactly-once。而对于数据精准性要求极高的系统必须要保证端到端的Exactly-once,所谓端到端是指Flink应用从Source一端开始到Sink一端结束,数据必经的起始和结束两个端点。

那么如何实现端到端的Exactly-once呢?Flink应用所依赖的外部系统需要提供Exactly-once支撑,并结合Flink提供的Checkpoint机制和Two Phase Commit才能实现Flink端到端的Exactly-once。对于Source和Sink的容错保障,Flink官方给出了具体说明:

Fault Tolerance Guarantees of Data Sources and Sinks(https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/connectors/guarantees.html)

02Flink Checkpoint

在讨论基于Kafka端到端的Exactly-once之前先简单了解一下Flink Checkpoint,详细内容在《Flink Checkpoint原理》中有做讨论。Flink Checkpoint是Flink用来实现应用一致性快照的核心机制,当Flink因故障或其他原因重启后可以通过最后一次成功的Checkpoint将应用恢复到当时的状态。如果在应用中启用了Checkpoint,会由JobManager按指定时间间隔触发Checkpoint,Flink应用内所有带状态的Operator会处理每一轮Checkpoint生命周期内的几个状态。

initializeState 由CheckpointedFunction接口定义。Task启动时获取应用中所有实现了CheckpointedFunction的Operator,并触发执行initializeState方法。在方法的实现中一般都是从状态后端将快照状态恢复。

snapshotState 由CheckpointedFunction接口定义。JobManager会定期发起Checkpoint,Task接收到Checkpoint后获取应用中所有实现了CheckpointedFunction的Operator并触发执行对应的snapshotState方法。 JobManager每发起一轮Checkpoint都会携带一个自增的checkpointId,这个checkpointId代表了快照的轮次。

public interface CheckpointedFunction{

 void snapshotState(FunctionSnapshotContext context)throwsException;

 void initializeState(FunctionInitializationContext context)throwsException;

}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

notifyCheckpointComplete 由CheckpointListener接口定义。
当基于同一个轮次(checkpointId相同)的Checkpoint快照全部处理成功后获取应用中所有实现了CheckpointListener的Operator并触发执行notifyCheckpointComplete方法。触发notifyCheckpointComplete方法时携带的checkpointId参数用来告诉Operator哪一轮Checkpoint已经完成。

public interface CheckpointListener{

void notifyCheckpointComplete(longcheckpointId)throwsException;

}
  • 1
  • 2
  • 3
  • 4
  • 5

Flink Kafka端到端Exactly-once

Kafka是非常收欢迎的分布式消息系统,在Flink中它可以作为Source,同时也可以作为Sink。Kafka 0.11.0及以上版本提供了对事务的支持,这让Flink应用搭载Kafka实现端到端的exactly-once成为了可能。下面我们就来深入了解提供了事务支持的Kafka是如何与Flink结合实现端到端exactly-once的。

本文忽略了Barrier机制,所以示例和图中都以单线程为例。Barrier在《Flink Checkpoint原理》有较多讨论。

Flink Kafka Consumer

Kafka自身提供了可重复消费消息的能力,Flink结合Kafka的这个特性以及自身Checkpoint机制,得以实现Flink Kafka Consumer的容错。

Flink Kafka Consumer是Flink应用从Kafka获取数据流消息的一个实现。除了数据流获取、数据发送下游算子这些基本功能外它还提供了完善的容错机制。这些特性依赖了其内部的一些组件以及内置的数据结构协同处理完成。这里,我们先简单了解这些组件和内置数据结构的职责,再结合Flink 运行时和 故障恢复时两个不同的处理时机来看一看它们之间是如何协同工作的。

  • Kafka Topic元数据 从Kafka消费数据的前提是需要知道消费哪个topic,这个topic有多少个partition。组件AbstractPartitionDiscoverer负责获得指定topic的元数据信息,并将获取到的topic元数据信息封装成KafkaTopicPartition集合。
  • KafkaTopicPartition KafkaTopicPartition结构用于记录topic与partition的对应关系,内部定义了String topic和int partition两个主要属性。假设topic A有2个分区,通过组件AbstractPartitionDiscoverer处理后将得到由两个KafkaTopicPartition对象组成的集合:KafkaTopicPartition(topic:A, partition:0)和KafkaTopicPartition(topic:A, partition:1)
  • Kafka数据消费 作为Flink Source,Flink Kafka Consumer最主要的职责就是能从Kafka中获取数据,交给下游处理。在Kafka Consumer中AbstractFetcher组件负责完成这部分功能。除此之外Fetcher还负责offset的提交、KafkaTopicPartitionState结构的数据维护。
  • KafkaTopicPartitionStateKafkaTopicPartitionState是一个非常核心的数据结构,基于内部的4个基本属性,Flink Kafka Consumer维护了topic、partition、已消费offset、待提交offset的关联关系。Flink Kafka Consumer的容错机制依赖了这些数据。 除了这4个基本属性外KafkaTopicPartitionState还有两个子类,一个是支持PunctuatedWatermark的实现,另一个是支持PeriodicWatermark的实现,这两个子类在原有基础上扩展了对水印的支持,我们这里不做过多讨论。
    在这里插入图片描述
  • 状态持久化 Flink Kafka Consumer的容错性依靠的是状态持久化,也可以称为状态快照。对于Flink Kafka Consumer来说,这个状态持久化具体是对topic、partition、已消费offset的对应关系做持久化。 在实现中,使用ListState<Tuple2<KafkaTopicPartition, Long>>定义了状态存储结构,在这里Long表示的是offset类型,所以实际上就是使用KafkaTopicPartition和offset组成了一个对儿,再添加到状态后端集合。
  • 状态恢复 当状态成功持久化后,一旦应用出现故障,就可以用最近持久化成功的快照恢复应用状态。在实现中,状态恢复时会将快照恢复到一个TreeMap结构中,其中key是KafkaTopicPartition,value是对应已消费的offset。恢复成功后,应用恢复到故障前Flink Kafka Consumer消费的offset,并继续执行任务,就好像什么都没发生一样。

运行时

我们假设Flink应用正常运行,Flink Kafka Consumer消费topic为Topic-A,Topic-A只有一个partition。在运行期间,主要做了这么几件事

  • Kafka数据消费 KafkaFetcher不断的从Kafka消费数据,消费的数据会发送到下游算子并在内部记录已消费过的offset。下图描述的是Flink Kafka Consumer从消费Kafka消息到将消息发送到下游算子的一个处理过程。
    在这里插入图片描述接下来我们再结合消息真正开始处理后,KafkaTopicPartitionState结构中的数据变化。
    在这里插入图片描述可以看到,随着应用的运行,KafkaTopicPartitionState中的offset属性值发生了变化,它记录了已经发送到下游算子消息在Kafka中的offset。在这里由于消息P0-C已经发送到下游算子,所以KafkaTopicPartitionState.offset变更为2。

  • 状态快照处理 如果Flink应用开启了Checkpoint,JobManager会定期触发Checkpoint。FlinkKafkaConsumer实现了CheckpointedFunction,所以它具备快照状态(snapshotState)的能力。在实现中,snapshotState具体干了这么两件事

下图描述当一轮Checkpoint开始时FlinkKafkaConsumer的处理过程。在例子中,FlinkKafkaConsumer已经将offset=3的P0-D消息发送到下游,当checkpoint触发时将topic=Topic-A;partition=0;offset=3作为最后的状态持久化到外部存储。

  1. 将当前快照轮次(CheckpointId)与topic、partition、offset写入到一个待提交offset的Map集合,其中key是CheckpointId。
  2. 将FlinkKafkaConsumer当前运行状态持久化,即将topic、partition、offset持久化。一旦出现故障,就可以根据最新持久化的快照进行恢复。

下图描述当一轮Checkpoint开始时FlinkKafkaConsumer的处理过程。在例子中,FlinkKafkaConsumer已经将offset=3的P0-D消息发送到下游,当checkpoint触发时将topic=Topic-A;partition=0;offset=3作为最后的状态持久化到外部存储。
在这里插入图片描述

  • 快照结束处理 当所有算子基于同一轮次快照处理结束后,会调用CheckpointListener.notifyCheckpointComplete(checkpointId)通知算子Checkpoint完成,参数checkpointId指明了本次通知是基于哪一轮Checkpoint。在FlinkKafkaConsumer的实现中,接到Checkpoint完成通知后会变更KafkaTopicPartitionState.commitedOffset属性值。最后再将变更后的commitedOffset提交到Kafka brokers或Zookeeper。 在这个例子中,commitedOffset变更为4,因为在快照阶段,将topic=Topic-A;partition=0;offset=3的状态做了快照,在真正提交offset时是将快照的offset + 1作为结果提交的。「源代码KafkaFetcher.java 207行doCommitInternalOffsetsToKafka方法」
    在这里插入图片描述故障恢复

Flink应用崩溃后,开始进入恢复模式。假设Flink Kafka Consumer最后一次成功的快照状态是topic=Topic-A;partition=0;offset=3,在恢复期间按照下面的先后顺序执行处理。

  • 状态初始化 状态初始化阶段尝试从状态后端加载出可以用来恢复的状态。它由CheckpointedFunction.initializeState接口定义。在FlinkKafkaConsumer的实现中,从状态后端获得快照并写入到内部存储结构TreeMap,其中key是由KafkaTopicPartition表示的topic与partition,value为offset。下图描述的是故障恢复的第一个阶段,从状态后端获得快照,并恢复到内部存储。
    在这里插入图片描述

  • function初始化 function初始化阶段除了初始化OffsetCommitMode和partitionDiscoverer外,还会初始化一个Map结构,该结构用来存储应用待消费信息。如果应用需要从快照恢复状态,则从待恢复状态中初始化这个Map结构。下图是该阶段从快照恢复的处理过程。
    在这里插入图片描述
    function初始化阶段兼容了正常启动和状态恢复时offset的初始化。对于正常启动过程,StartupMode的设置决定待消费信息中的结果。该模式共有5种,默认为StartupMode.GROUP_OFFSETS。
    在这里插入图片描述

  • 开始执行 在该阶段中,将KafkaFetcher初始化、初始化内部消费状态、启动消费线程等等,其目的是为了将FlinkKafkaConsumer运行起来,下图描述了这个阶段的处理流程
    在这里插入图片描述
    这里对图中两个步骤做个描述

  • 步骤3,使用状态后端的快照结果topic=Topic-A;partition=0;offset=3初始化Flink Kafka Consumer内部维护的Kafka处理状态。因为是恢复流程,所以这个内部维护的处理状态也应该随着快照恢复。

  • 步骤4,在真正消费Kafka数据前(指调用KafkaConsumer.poll方法),使用Kafka提供的seek方法将offset重置到指定位置,而这个offset具体算法就是状态后端offset + 1。在例子中,消费Kafka数据前将offset重置为4,所以状态恢复后KafkaConsumer是从offset=4位置开始消费。「源代码KafkaConsumerThread.java 428行」

总结

上述的3个步骤是恢复期间主要的处理流程,一旦恢复逻辑执行成功,后续处理流程与正常运行期间一致。最后对FlinkKafkaConsumer用一句话做个总结。

「将offset提交权交给FlinkKafkaConsumer,其内部维护Kafka消费及提交的状态。基于Kafka可重复消费能力并配合Checkpoint机制和状态后端存储能力,就能实现FlinkKafkaConsumer容错性,即Source端的Exactly-once语义」。

Flink Kafka Producer

Flink Kafka Producer是Flink应用向Kafka写出数据的一个实现。在Kafka 0.11.0及以上版本中提供了事务支持,这让Flink搭载Kafka的事务特性可以轻松实现Sink端的Exactly-once语义。关于Kafka事务特性在《Kafka幂等与事务》中做了详细讨论。

在Flink Kafka Producer中,有一个非常重要的组件FlinkKafkaInternalProducer,这个组件代理了Kafka客户端org.apache.kafka.clients.producer.KafkaProducer,它为Flink Kafka Producer操作Kafka提供了强有力的支撑。在这个组件内部,除了代理方法外,还提供了一些关键操作。个人认为,Flink Kafka Sink能够实现Exactly-once语义除了需要Kafka支持事务特性外,同时也离不开FlinkKafkaInternalProducer组件提供的支持,尤其是下面这些关键操作:

  • 事务重置FlinkKafkaInternalProducer组件中最关键的处理当属事务重置,事务重置由resumeTransaction方法实现「源代码FlinkKafkaInternalProducer.java 144行」。由于Kafka客户端未暴露针对事务操作的API,所以在这个方法内部,大量的使用了反射。方法中使用反射获得KafkaProducer依赖的transactionManager对象,并将状态后端快照的属性值恢复到transactionManager对象中,这样以达到让Flink Kafka Producer应用恢复到重启前的状态。

下面我们结合Flink 运行时和 故障恢复两个不同的处理时机来了解Flink Kafka Producer内部如何工作。

运行时

我们假设Flink应用正常运行,Flink Kafka Producer正常接收上游数据并写到Topic-B的Topic中,Topic-B只有一个partition。在运行期间,主要做以下几件事:

  • 数据发送到Kafka 上游算子不断的将数据Sink到FlinkKafkaProducer,FlinkKafkaProducer接到数据后封装ProducerRecord对象并调用Kafka客户端KafkaProducer.send方法将ProducerRecord对象写入缓冲「源代码FlinkKafkaProducer.java 616行」。下图是该阶段的描述:
    在这里插入图片描述
  • 状态快照处理 Flink 1.7及以上版本使用FlinkKafkaProducer作为Kafka Sink,它继承抽象类TwoPhaseCommitSinkFunction,根据名字就能知道,这个抽象类主要实现两阶段提交。为了集成Flink Checkpoint机制,抽象类实现了CheckpointedFunction和CheckpointListener,因此它具备快照状态(snapshotState)能力。状态快照处理具体做了下面三件事:
  • 调用KafkaProducer客户端flush方法,将缓冲区内全部记录发送到Kafka,但不提交。这些记录写入到Topic-B,此时这些数据的事务隔离级别为UNCOMMITTED,也就是说如果有个服务消费Topic-B,并且设置的isolation.level=read_committed,那么此时这个消费端还无法poll到flush的数据,因为这些数据尚未commit。什么时候commit呢?在快照结束处理阶段进行commit,后面会提到。
  • 将快照轮次与当前事务记录到一个Map表示的待提交事务集合中,key是当前快照轮次的CheckpointId,value是由TransactionHolder表示的事务对象。TransactionHolder对象内部记录了transactionalId、producerId、epoch以及Kafka客户端kafkaProducer的引用。
  • 持久化当前事务处理状态,也就是将当前处理的事务详情存入状态后端,供应用恢复时使用。

下图是状态快照处理阶段处理过程
在这里插入图片描述
快照结束处理 TwoPhaseCommitSinkFunction实现了CheckpointListener,应用中所有算子的快照处理成功后会收到基于某轮Checkpoint完成的通知。当FlinkKafkaProducer收到通知后,主要任务就是提交上一阶段产生的事务,而具体要提交哪些事务是从上一阶段生成的待提交事务集合中获取的。
在这里插入图片描述
图中第4步执行成功后,flush到Kafka的数据从UNCOMMITTED变更为COMMITTED,这意味着此时消费端可以poll到这批数据了。

2PC(两阶段提交)理论的两个阶段分别对应了FlinkKafkaProducer的状态快照处理阶段和快照结束处理阶段,前者是通过Kafka的事务初始化、事务开启、flush等操作预提交事务,后者是通过Kafka的commit操作真正执行事务提交。

故障恢复

Flink应用崩溃后,FlinkKafkaProducer开始进入恢复模式。下图为应用崩溃前的状态描述:
在这里插入图片描述
在恢复期间主要的处理在状态初始化阶段。当Flink任务重启时会触发状态初始化,此时应用与Kafka已经断开了连接。但在运行期间可能存在数据flush尚未提交的情况。

如果想重新提交这些数据需要从状态后端恢复当时KafkaProducer持有的事务对象,具体一点就是恢复当时事务的transactionalId、producerId、epoch。这个时候就用到了FlinkKafkaInternalProducer组件中的事务重置,在状态初始化时从状态后端获得这些事务信息,并重置到当前KafkaProducer中,再执行commit操作。这样就可以恢复任务重启前的状态,Topic-B的消费端依然可以poll到应用恢复后提交的数据。

需要注意的是:如果这个重置并提交的动作失败了,可能会造成数据丢失。下图描述的是状态初始化阶段的处理流程:
在这里插入图片描述
总结

FlinkKafkaProducer故障恢复期间,状态初始化是比较重要的处理阶段。这个阶段在Kafka事务特性的强有力支撑下,实现了事务状态的恢复,并且使得状态存储占用空间最小。依赖Flink提供的TwoPhaseCommitSinkFunction实现类,我们自己也可以对Sink做更多的扩展。

Flink实战实例(六): Flink Kafka Connector 与 Exactly Once 剖析 声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer,除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。本文从 Fl 阅读详情

相关推荐

给大一新生的蓝桥杯EDA备赛规划:从电路分析到立创EDA,如何用一年时间高效备赛?

本文为大一新生提供了一份系统的蓝桥杯EDA备赛规划,从电路分析基础到立创EDA实战操作,分阶段指导如何高效备赛。内容涵盖理论学习、软件操作、PCB设计专项提升及冲刺优化策略,帮助学生在一年内全面提升电子设计能力,为竞赛做好充分准备。

weixin_31476015的博客 291

flink checkpoint 执行流程

class Src extends RichSourceFunction<Integer> implements CheckpointedFunction, CheckpointListener { @Override public void initializeState(FunctionInitializationContext context) throws Exception { Syste...

qq276726581的博客 554

QCC5125/QCC5144----LDAC 44.1K 48K 96K 192K 输出

QCC5125/QCC5144----LDAC 44.1K 48K 96K 192K 输出。而且还不需要license限制。

Alex_886的博客 1977

Flink Kafka 端到端 Exactly-Once 分析

摘要:本文基于 Flink 1.9.0 和 Kafka 2.3 版本,对 Flink kafka 端到端 Exactly-Once 进行分析及notifyCheckpointComp...

Ververica的博客 2159

TI IWR6843AOP雷达+DCA1000EVM数据采集:官方手册里的坑,我帮你踩完了

本文详细解析了TI IWR6843AOP雷达与DCA1000EVM数据采集实战中的12个关键细节,包括硬件连接陷阱、mmWave Studio隐藏设置、数据采集参数优化等,帮助开发者避开官方手册未提及的常见问题,提升数据采集效率和系统稳定性。

weixin_28366475的博客 1103

C# 死锁:原理、诊断与解决方案深度解析

本文深入探讨了C#中的死锁问题,详细介绍了死锁的基本概念、形成机制、常见场景、诊断方法及解决方案。死锁通常发生在多线程环境下,当多个线程因争夺资源而互相等待时,导致程序无法继续执行。文章通过代码示例展示了常见的死锁场景,如锁的嵌套、同步上下文死锁和线程池死锁,并提供了使用Visual Studio、WinDbg等工具进行死锁诊断的方法。此外,文章还提出了多种预防和解决死锁的策略,包括保持锁顺序一致性、使用锁超时机制、避免同步阻塞异步代码以及使用更高级的同步原语。通过这些方法,开发者可以有效减少死锁的发生,提

记录学习的过程 1409

Flink保证exactly-once机制介绍:checkpoint及TwoPhaseCommitSinkFunction

Flink保证exactly-once机制介绍:checkpoint及TwoPhaseCommitSinkFunction

chbxw 2388

FPGA时钟架构解密:从SRCC/MRCC到全局时钟树的实战指南

本文深入解析Xilinx 7系列FPGA时钟架构,从SRCC/MRCC引脚特性到全局时钟树设计,详细介绍了BUFG、BUFMR等关键组件的应用场景和优化策略。通过对比SRCC与MRCC的驱动范围及适用场景,提供低抖动时钟布线技巧和时钟域交叉(CDC)设计方法,帮助工程师构建高性能FPGA时钟系统。

weixin_29191081的博客 1487

flink源码分析_flink的checkpoint源码分析(二)

hery:flink的checkpoint源码分析​zhuanlan.zhihu.com在上一篇文章中,分析到了TriggerCheckpoint消息发送的过程,现在继续分析TriggerCheckpoint消息接收的过程。TriggerCheckpoint消息的发送是在JobMaster端,接收消息那么就是在TaskManager类中,我们查看源码发现TaskManager.scala文件中有个...

weixin_39940913的博客 266

PrimeTime low power-多电压设计流程(2)

get_power_switches`、`get_supply_nets` 和 `get_supply_ports` 命令的操作方式类似,并具有类似的命令选项。PrimeTime 根据 UPF 命令构建电源供应网络,包括 create_power_domain、create_supply_net、create_supply_set、create_supply_port、set_domain_supply_net 和 connect_supply_net。电源集句柄是为电源域隐式创建的一个抽象电源集。

QRBQ 713

【用unity实现100个游戏之1】制作类元气骑士、挺进地牢——俯视角射击游戏多种射击效果(二)(附源码)

这篇文章我们将继续实现曲线射击与两种不需要实体子弹的射击方式 源码在文章末尾。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 5062

Flink Kafka Connector 与 Exactly Once 剖析

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consu...

Ververica的博客 465

第81篇:Vibe Coding时代:LangGraph + Eval评估体系实战,解决 Agent 优化全靠感觉的问题

本文介绍了一个为LangGraph Coding Agent设计的评估体系解决方案。文章首先指出了当前AI Coding Agent开发中的常见问题:优化过程缺乏客观评估标准,导致改进效果难以量化。随后提出了一个完整的评估框架,包括评估指标(任务成功率、质量指标、安全指标、成本指标和流程指标)、项目结构设计和评估案例集。 核心内容包括: 设计了JSON格式的评估案例集,覆盖正常任务、边界任务和高风险场景 实现了模拟Agent输出的演示代码 构建了多维度评分系统,包括关键词匹配、禁用词检测和成本评估 提供了评

sundong_81的博客 48

flink checkpoint 恢复_Flink剖析|Flink Kafka Connector与Exactly Once剖析

Flink Kafka Connector是Flink内置的Kafka连接器,它包含了从Kafka Topic读入数据的Flink Kafka Consumer以及向Kafka Topic写出数据的Flink Kafka Producer,除此之外Flink Kafka Connector基于Flink Checkpoint机制提供了完善的容错能力。本文从Flink Kafka Conn...

weixin_39719729的博客 247

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Flink + Kafka 数据写入实战:从API调用到端到端一致性精讲

本文介绍了如何使用Flink将处理后的数据写入Kafka,重点分析了新旧两种API(FlinkKafkaProducer和KafkaSink)的差异,并深入探讨了端到端Exactly-Once语义的实现原理。主要内容包括: 架构演进:对比了新旧API在可靠性、一致性、动态路由等方面的改进,推荐使用Flink 1.13+的新KafkaSink API。 两阶段提交协议:详细解释了Flink如何通过2PC协议与Kafka事务API配合,在Checkpoint机制下实现Exactly-Once语义。 实战代码:提

渣渣盟的博客 403

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Flink Kafka Connector源码解析与生产实践

流处理系统中,Kafka作为核心消息队列与Flink的集成至关重要。Flink Kafka Connector通过精确的偏移量管理和状态恢复机制,实现了端到端的Exactly-Once语义保障。其底层采用多线程协作架构,通过主线程、消费线程和网络线程的分工,确保高效的数据拉取与处理。在实时数据处理场景中,该组件需要特别关注消费延迟优化、动态分区发现以及资源泄漏防范等工程实践问题。结合Kafka原生监控指标如records-lag-max和fetch-latency-avg,开发者可以快速定位性能瓶颈。对于要

weixin_33670713的博客 330

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Flink 的 Kafka Connector:group.id 到底管什么?

Flink Kafka Connector 使用 group.id 的机制与原生 Kafka 消费者组存在本质差异。Flink 采用 assign() 手动分配分区而非依赖 broker 端的 rebalance,这是为了实现精确一次语义(exactly-once),确保分区归属与 checkpoint 严格绑定。group.id 在 Flink 中仅用于 offset 提交监控和冷启动时的 offset 读取,多个作业共用同一 group.id 不会导致数据分流,但可能引发冷启动偏移量错乱和监控指标混淆问

301

fs1.6-fs1.10代码移植方案

在创建解码格式时,最重要的是创建运行时的解码器,也就是 DeserializationSchema,在 JsonFormatFactory 中,有 JsonParserRowDataDeserializationSchema 和 JsonRowDataDeserializationSchema 两种实现,分别是用于将 JsonParser 和 JsonNode 转换成为 RowData,具体的逻辑都在 createNotNullConverter 方法中。分别用于消费数据,读取元数据和生成水印。

UgEO926nV的博客 168

Flink Kafka source神操作之Flink Kafka connector

引言 Flink 提供了专门的 Kafka 连接器,向 Kafka topic 中读取或者写入数据。Flink Kafka Consumer 集成了 Flink 的 Checkpoint 机制,可提供 exactly-once 的处理语义。为此,Flink 并不完全依赖于跟踪 Kafka 消费组的偏移量,而是在内部跟踪和检查偏移量。 当我们在使用Spark Streaming、Flink等计算框架进行数据实时处理时,使用Kafka作为一款发布与订阅的消息系统成为了标配。Spark Streaming与F

q1472750149的博客 5383
上一篇: 数据流交换策略
下一篇: flink读写MySQL的两种方式
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值