flink 容错机制(检查点的保存、恢复、检查点算法、保存点、状态一致性的三种级别、end-to-end exactly-once)

Flink的容错机制 1 状态一致性       当在分布式系统中引入状态时,自然引入了一致性问题。一致性实际上是“正确性级别”的另一种说法,也就是说在成功处理故障并恢复之后得到的结果,与没有发生任何故障时得到的结果相比,前者到底有多正确?举例来说,假设要对最近一小时登录的用户计数。在系.统经历故障之后,计数结果是多少?如果有偏差,是有漏掉的计数还是重复计数? 1.1 基本概念       有状态的流处理,内部 阅读详情


1. 检查点(Checkpoint)

  flink将之前某个时间点所有的状态保存下来,这份存档就是所谓的检查点(checkpoint)。检查点是 Flink 容错机制的核心。检查是针对故障恢复的结果而言的:故障恢复之后继续处理的结果,应该与发生故障前完全一致。所以有时又会把 checkpoint 叫作一致性检查点


1.1 检查点的保存

(1) 周期性的触发保存

  检查点作为应用状态的一份存档,其实就是所有任务状态在同一时间点的一个快照(snapshot),它的触发是周期性的。每隔一段时间检查点保存操作被触发时,就把每个任务当前的状态复制一份,按照一定的逻辑结构放在一起持久化保存起来,就构成了检查点

(2) 保存的时间点

  当所有任务都恰好处理完一个相同的输入数据的时候,将它们的状态保存下来。首先,这样避免了除状态之外其他额外信息的存储,提高了检查点保存的效率。其次,一个数据要么就是被所有任务完整地处理完,状态得到了保存;要么就是没处理完,状态全部没保存:这就相当于构建一个事务(transaction)。如果出现故障,恢复到之前保存的状态,故障时正在处理的所有数据都需要重新处理;所以只需要让源(source)任务向数据源重新提交偏移量、请求重放数据就可以了。这需要源任务可以把偏移量作为算子状态保存下来,而且外部数据源能够重置偏移量;(典型应用 Kafka)


1.2 从检查点恢复状态

  当发生故障时,需要找到最近一次成功保存的检查点来恢复状态
在这里插入图片描述
具体的步骤为:

(1)重启应用

  遇到故障之后,第一步当然是重启,所有任务的状态会清空
在这里插入图片描述

(2)读取检查点,重置状态

  找到最近一次保存的检查点,从中读出每个算子任务状态的快照,分别填充到对应的状态中。这样,Flink 内部所有任务的状态,就恢复到了保存检查点的那一时刻
在这里插入图片描述

(3)重放数据

  从检查点恢复状态后如果直接继续处理数据,那么保存检查点之后、到发生故障这段时间内的数据就相当于丢掉了;这会造成计算结果的错误。为了不丢数据,应该从保存检查点后开始重新读取数据,这可以通过 Source 任务向外部数据源重新提交偏移量(offset)来实现。这样,整个系统的状态已经完全回退到了检查点保存完成的那一时刻
在这里插入图片描述

(4)继续处理数据

在这里插入图片描述

注:
  想要正确地从检查点中读取并恢复状态,必须知道每个算子任务状态的类型和先后顺序(拓扑结构);因此为了可以从之前的检查点中恢复状态,在改动程序、修复 bug 时要保证状态的拓扑顺序和类型不变。状态的拓扑结构在 JobManager 上可以由 JobGraph 分析得到,而检查点保存的定期触发也是由 JobManager 控制的;所以故障恢复的过程需要 JobManager 的参与


1.3 检查点算法

  在不暂停整体流处理的前提下,将状态备份保存到检查点。在 Flink中,采用了基于 Chandy-Lamport 算法的分布式快照

(1)检查点分界线(Barrier)

  借鉴水位线(watermark)的设计,在数据流中插入一个特殊的数据结构,专门用来表示触发检查点保存的时间点。收到保存检查点的指令后,Source 任务可以在当前数据流中插入这个结构;之后的所有任务只要遇到它就开始对状态做持久化快照保存。由于数据流是保持顺序依次处理的,因此遇到这个标识就代表之前的数据都处理完了,可以保存一个检查点;而在它之后的数据,引起的状态改变就不会体现在这个检查点中,而需要保存到下一个检查点。这种特殊的数据形式,把一条流上的数据按照不同的检查点分隔开,所以就叫作检查点的分界线(Checkpoint Barrier)。检查点分界线中带有一个检查点 ID,这是当前要保存的检查点的唯一标识
在这里插入图片描述
  在 JobManager 中有一个检查点协调器(checkpoint coordinator),专门用来协调处理检查点的相关工作。检查点协调器会定期向 TaskManager 发出指令,要求保存检查点(带着检查点 ID);TaskManager 会让所有的 Source 任务把自己的偏移量(算子状态)保存起来,并将带有检查点 ID 的分界线(barrier)插入到当前的数据流中,然后像正常的数据一样像下游传递;之后 Source 任务就可以继续读入新的数据了。每个算子任务只要处理到这个 barrier,就把当前的状态进行快照;在收到 barrier 之前,还是正常地处理之前的数据,完全不受影响

(2)分布式快照算法

  通过在流中插入分界线(barrier)需要保持顺序一致,在一条单一的流上,数据依次进行处理,顺序保持不变;不过对于分布式流处理来说,想要保持数据的顺序就不是那么容易了。
  Flink 使用了 Chandy-Lamport 算法的一种变体,被称为异步分界线快照(asynchronous barrier snapshotting)算法。算法的核心就是两个原则:当上游任务向多个并行下游任务发送 barrier 时,需要广播出去;而当多个上游任务向同一个下游任务传递 barrier 时,需要在下游任务执行分界线对齐(barrier alignment)操作,也就是需要等到所有并行分区的 barrier 都到齐,才可以开始状态的保存

在这里插入图片描述
具体过程:
(1)JobManager 发送指令,触发检查点的保存;Source 任务保存状态,插入分界线
  JobManager 会周期性地向每个 TaskManager 发送一条带有新检查点 ID 的消息,通过这种方式来启动检查点。收到指令后,TaskManger 会在所有 Source 任务中插入一个分界线(barrier),并将偏移量保存到远程的持久化存储中
在这里插入图片描述
(2)状态快照保存完成,分界线向下游传递
  状态存入持久化存储之后,会返回通知给 Source 任务;Source 任务就会向 JobManager 确认检查点完成,然后像数据一样把 barrier 向下游任务传递
在这里插入图片描述
(3)向下游多个并行子任务广播分界线,执行分界线对齐
  对于下一个检查点要保存的内容,不应立即处理,而是要缓存起来、等到状态保存之后再做处理
在这里插入图片描述
(4)分界线对齐后,保存状态到持久化存储
在这里插入图片描述
(5)先处理缓存数据,然后正常继续处理
  完成检查点保存之后,任务就可以继续正常处理数据。这时如果有等待分界线对齐时缓存的数据,需要先做处理;然后再按照顺序依次处理新到的数据

注:
  当 JobManager 收到所有任务成功保存状态的信息,就可以确认当前检查点成功保存。之后遇到故障就可以从这里恢复
  由于分界线对齐要求先到达的分区做缓存等待,一定程度上会影响处理的速度;当出现背压(backpressure)时,下游任务会堆积大量的缓冲数据,检查点可能需要很久才可以保存完毕。为了应对这种场景,Flink 1.11 之后提供了不对齐的检查点保存方式,可以将未处理的缓冲数据(in-flight data)也保存进检查点。这样,当我们遇到一个分区 barrier 时就不需等待对齐,而是可以直接启动状态的保存了


1.4 检查点配置

(1) 启用检查点

  默认情况下,Flink 程序是禁用检查点的。如果想要为 Flink 应用开启自动保存快照的功能,需要在代码中显式地调用执行环境的.enableCheckpointing()方法:

StreamExecutionEnvironment env = 
StreamExecutionEnvironment.getExecutionEnvironment();
// 每隔 1 秒启动一次检查点保存
env.enableCheckpointing(1000);
(2)检查点存储(Checkpoint Storage)

  检查点具体的持久化存储位置,取决于检查点存储(CheckpointStorage)的设置。默认情况下,检查点存储在 JobManager 的堆(heap)内存中。而对于大状态的持久化保存,Flink也提供了在其他存储位置进行保存的接口,这就是 CheckpointStorage。具 体 可以通过调用检查点配置的 .setCheckpointStorage() 来 配 置 , 需 要 传 入 一 个CheckpointStorage 的实现类。Flink 主要提供了两种 CheckpointStorage:作业管理器的堆内存(JobManagerCheckpointStorage)和文件系统(FileSystemCheckpointStorage)

// 配置存储检查点到 JobManager 堆内存
env.getCheckpointConfig().setCheckpointStorage(new 
JobManagerCheckpointStorage());
// 配置存储检查点到文件系统
env.getCheckpointConfig().setCheckpointStorage(new 
FileSystemCheckpointStorage("hdfs://namenode:40010/flink/checkpoints"));
(3)其他高级配置

(1)检查点模式(CheckpointingMode)
  设置检查点一致性的保证级别,有精确一次(exactly-once)和至少一次(at-least-once)两个选项。默认级别为 exactly-once,而对于大多数低延迟的流处理程序,at-least-once 就够用了,而且处理效率会更高

(2)超时时间(checkpointTimeout)
  用于指定检查点保存的超时时间,超时没完成就会被丢弃掉。传入一个长整型毫秒数作为参数,表示超时时间

(3)最小间隔时间(minPauseBetweenCheckpoints)
  用于指定在上一个检查点完成之后,检查点协调器(checkpoint coordinator)最快等多久可以发出保存下一个检查点的指令。这就意味着即使已经达到了周期触发的时间点,只要距离上一个检查点完成的间隔不够,就依然不能开启下一次检查点的保存。这就为正常处理数据留下了充足的间隙。当指定这个参数时,maxConcurrentCheckpoints 的值强制为 1

(4)最大并发检查点数量(maxConcurrentCheckpoints)
  用于指定运行中的检查点最多可以有多少个。由于每个任务的处理进度不同,完全可能出现后面的任务还没完成前一个检查点的保存、前面任务已经开始保存下一个检查点了。这个参数就是限制同时进行的最大数量。如果前面设置了 minPauseBetweenCheckpoints,则 maxConcurrentCheckpoints 这个参数就不起作用了

(5)开启外部持久化存储(enableExternalizedCheckpoints)
  用于开启检查点的外部持久化,而且默认在作业失败的时候不会自动清理,如果想释放空间需要自己手工清理。里面传入的参数 ExternalizedCheckpointCleanup 指定了当作业取消的时候外部的检查点该如何清理。
DELETE_ON_CANCELLATION:在作业取消的时候会自动删除外部检查点,但是如果是作业失败退出,则会保留检查点。
RETAIN_ON_CANCELLATION:作业取消的时候也会保留外部检查点

(6)检查点异常时是否让整个任务失败(failOnCheckpointingErrors)
  用于指定在检查点发生异常的时候,是否应该让任务直接失败退出。默认为 true,如果设置为 false,则任务会丢弃掉检查点然后继续运行

(7)不对齐检查点(enableUnalignedCheckpoints)
  不再执行检查点的分界线对齐操作,启用之后可以大大减少产生背压时的检查点保存时间。这个设置要求检查点模式(CheckpointingMode)必须为 exctly-once,并且并发的检查点个数为 1


1.5 保存点(Savepoint)

  原理和算法与检查点完全相同,只是多了一些额外的元数据。事实上,保存点就是通过检查点的机制来创建流式作业状态的一致性镜像(consistent image)的。保存点中的状态快照,是以算子 ID 和状态名称组织起来的,相当于一个键值对。从保存点启动应用程序时,Flink 会将保存点的状态数据重新分配给相应的算子任务

(1)使用保存点

(1)创建保存点
  要在命令行中为运行的作业创建一个保存点镜像,只需要执行:

bin/flink savepoint :jobId [:targetDirectory]

  对于保存点的默认路径,可以通过配置文件 flink-conf.yaml 中的 state.savepoints.dir 项来设定:

state.savepoints.dir: hdfs:///flink/savepoints

  对于单独的作业,可以在程序代码中通过执行环境来设置:

env.setDefaultSavepointDir("hdfs:///flink/savepoints");

  由于创建保存点一般都是希望更改环境之后重启,所以创建之后往往紧接着就是停掉作业的操作。除了对运行的作业创建保存点,可以在停掉一个作业时直接创建保存点:

bin/flink stop --savepointPath [:targetDirectory] :jobId
(2)从保存点重启应用

  提交启动一个 Flink 作业,使用的命令是 flink run;现在要从保存点重启一个应用,其实本质是一样的:

bin/flink run -s :savepointPath [:runArgs]

2. 状态一致性

2.1 状态一致性的三种级别

最多一次(AT-MOST-ONCE)
  当任务发生故障时,最简单的做法就是直接重启,别的什么都不干;既不恢复丢失的状态,也不重放丢失的数据。每个数据在正常情况下会被处理一次,遇到故障时就会丢掉,所以就是最多处理一次

至少一次(AT-LEAST-ONCE)
  在实际应用中,希望至少不要丢掉数据。这种一致性级别就叫作至少一次(at-least-once),就是说是所有数据都不会丢,肯定被处理了;不过不能保证只处理一次,有些数据会被重复处理。
  在有些场景下,重复处理数据是不影响结果的正确性的,这种操作具有幂等性。如 UV
  为了保证达到 at-least-once 的状态一致性,需要在发生故障时能够重放数据。最常见的做法是,可以用持久化的事件日志系统,把所有的事件写入到持久化存储中。这时只要记录一个偏移量,当任务发生故障重启后,重置偏移量就可以重放检查点之后的数据了。Kafka 就是这种架构的一个典型实现

精确一次(EXACTLY-ONCE)
  最难实现的状态一致性语义。exactly-once 意味着所有数据不仅不会丢失,而且只被处理一次,不会重复处理。也就是说对于每一个数据,最终体现在状态和输出结果上,只能有一次统计
  


2.2 端到端的状态一致性

  在实际应用中,一般要保证从用户的角度看来,最终消费的数据是正确的。而用户或者外部应用不会直接从 Flink 内部的状态读取数据,往往需要将处理结果写入外部存储中。这就要求不仅要考虑 Flink 内部数据的处理转换,还涉及从外部数据源读取,以及写入外部持久化系统,整个应用处理流程从头到尾都应该是正确的。所以完整的流处理应用,应该包括了数据源、流处理器和外部存储系统三个部分。这个完整应用的一致性,就叫作端到端(end-to-end)的状态一致性,它取决于三个组件中最弱的那一环。一般来说,能否达到 at-least-once 一致性级别,主要看数据源能够重放数据;而能否达到 exactly-once 级别,流处理器内部、数据源、外部存储都要有相应的保证机制。


3. 端到端精确一次(end-to-end exactly-once)

  由于检查点保存的是之前所有任务处理完某个数据后的状态快照,所以重放的数据引起的状态改变一定不会包含在里面,最终结果中只处理了一次。所以,端到端一致性的关键点,就在于输入的数据源端和输出的外部存储端

3.1 输入端保证

  数据源可重放数据,或者说可重置读取数据偏移量,加上 Flink 的 Source 算子将偏移量作为状态保存进检查点,就可以保证数据不丢。这是达到 at-least-once 一致性语义的基本要求,也是实现端到端 exactly-once 的基本要求


3.2 输出端保证

  为了实现端到端 exactly-once,我们还需要对外部存储系统、以及 Sink 连接器有额外的要求。保证 exactly-once 一致性的写入方式有两种:

(1)幂等(idempotent)写入

  一个操作可以重复执行很多次,但只导致一次结果更改

(2)事务(transactional)写入

  事务(transaction)是应用程序中一系列严密的操作,所有操作必须成功完成,否则在每个操作中所做的所有更改都会被撤消。事务有四个基本特性:原子性(Atomicity)、一致性(Correspondence)、隔离性(Isolation)和持久性(Durability)。
  用一个事务来进行数据向外部系统的写入,事务与检查点绑定。当 Sink 任务遇到 barrier 时,开始保存状态的同时就开启一个事务,接下来所有数据的写入都在这个事务中;待到当前检查点保存完毕时,将事务提交,所有写入的数据就真正可用了。如果中间过程出现故障,状态会回退到上一个检查点,而当前事务没有正常关闭(因为当前检查点没有保存完),所以也会回滚,写入到外部的数据就被撤销了

(1)预写日志(write-ahead-log,WAL)
①先把结果数据作为日志(log)状态保存起来
②进行检查点保存时,也会将这些结果数据一并做持久化存储
③在收到检查点完成的通知时,将所有结果一次性写入外部系统

(2)两阶段提交(two-phase-commit,2PC)
真正基于事务的,它需要外部系统提供事务支持
①当第一条数据到来时,或者收到检查点的分界线时,Sink 任务都会启动一个事务。
②接下来接收到的所有数据,都通过这个事务写入外部系统;这时由于事务没有提交,所以数据尽管写入了外部系统,但是不可用,是预提交的状态。
③当 Sink 任务收到 JobManager 发来检查点完成的通知时,正式提交事务,写入的结果真正可用


Flink1.12-End-to-End Exactly-Once一次性语义 流处理引擎通常为应用程序提供了三种数据处理语义:最多一次、至少一次和精确一次。 如下是对这些不同处理语义的宽松定义(一致性由弱到强): At most noce < At least once < Exactly once < End to End Exactly once At-most-once-最多一次 有可能会有数据丢失 这本质上是简单的恢复方式,也就是直接从失败处的下个数据开始恢复程序,之前的失败数据处理就不管了。可以保证数据或事件最多由应用程序中的所有算子处理一次。这意味着如果 阅读详情

相关推荐

Flink实时计算核心原理与实践:从时间状态到流处理架构深度解析

流处理技术是处理海量、高速、持续数据流的核心架构范式,其核心在于对无界数据的有序处理与状态管理。其基本原理是通过事件时间、水位线等机制处理乱序数据,并借助状态管理和检查点机制保障计算的一致性与容错性。这项技术的核心价值在于实现从传统批处理的事后分析到实时流处理的事中决策的跨越,支撑低延迟、高吞吐的数据处理需求。典型应用场景包括实时风控、实时监控、实时推荐和实时ETL等。本文以Apache Flink为例,深入剖析其四大基石——时间、状态、检查点和窗口,并结合生产环境中的状态后端选型与检查点调优等热词,提供从

weixin_30323631的博客 346

Flink 容错机制

概述   在分布式架构中,当某个节点出现故障,其他节点基本不受影响。这时只需要重启应用, 恢复之前某个时间点的状态继续处理就可以了。这一切看似简单,可是在实时流处理中,我们不仅需要保证故障后能够重启继续运行,还要保证结果的正确性、故障恢复的速度、对处理性能的影响,这就需要在架构上做出更加精巧的设计。   在 Flink 中,有一套完整的容错机制(fault tolerance)来保证故障后的恢复,其中最重要的就是检查点(checkpoint)。在前面,我们已经介绍过检查点的基本概念和用途,接下来我们就深入探

mengxianglong123的博客 5630

Flink实时计算核心机制与生产实践:从状态管理到Kafka数据链路

流处理是大数据实时计算的核心范式,与批处理不同,它在数据到达时立即处理,能够满足秒级甚至毫秒级延迟要求。实现稳定的流式计算,必须解决状态维护、故障恢复、乱序数据和消费背压等关键问题。Flink通过统一的状态管理、分布式检查点、事件时间与水印机制以及背压设计,将流式计算构建为稳定可恢复的工程系统。实际应用中,Flink SQL可高效打通Kafka到Elasticsearch的实时链路,配合窗口聚合和精确一次语义,支撑实时报表与监控场景。同时,合理的并行度规划直接影响资源效率与状态分布,工程化代码组织、连接器异

weixin_34183910的博客 465

Flink 检查点(checkpoint)

Flink具体如何保证exactly-once呢? 它使用一种被称为"检查点"(checkpoint)的特性,在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。 假设你和两位朋友正在数项链上有多少颗珠子,如下图所示。你捏住珠子,边数边拨,每拨过一颗珠子就给总数加一。你的朋友也这样数他们手中的珠子。当你分神忘记数到哪里时,怎么办呢? 如果项链上有很多珠子,你显然不想从...

全网同名,欢迎关注。 6791

【Flink】Checkpoint 机制和状态恢复

1.概述 转载:Flink 源码阅读笔记(11)- Checkpoint 机制和状态恢复 在上一篇文章中,我们对 Flink 状态管理相关的代码逻辑进行了分析,但为了实现任务的故障恢复以及数据一致性的效果,还需要借助于检查点(Checkpoint)机制。 简单地说,Checkpoint 是一种分布式快照:在某一时刻,对一个 Flink 作业所有的 task 做一个快照(snapshot),并且将快照保存在 memory / file system 等存储系统中。这样,在任务进行故障恢复的时候,就可以还原.

九师兄 3303

深度剖析:Flink 检查点机制的工作原理与优化策略

Flink具体如何保证exactly-once呢?它使用一种被称为"检查点"(checkpoint)的特性,在出现故障时将系统重置回正确状态

数据与算法架构提升之路专栏 1866

Flink Checkpointing 完全指南:状态容错机制、配置参数与源码级实践

本文是一份围绕 Apache Flink 状态容错核心机制 **Checkpointing(检查点)** 的实战技术指南。它面向 DataStream API 开发者和生产运维人员,系统讲解如何在 Flink 中开启并调优检查点:从 `enableCheckpointing()` 的启用方式、`CheckpointConfig` 与 `CheckpointingOptions` 的全部关键参数,到

gitblog_00382的博客 1049

【信息科学与工程学】【数据科学】数据科学领域 第十二篇 大数据主要算法07 任务工序(2)

工序类别工序名称工序描述处理时序输入输出控制点质量指标异常处理数据接入工序​流数据源连接连接到外部流数据源初始阶段流数据源配置流数据连接连接参数配置连接成功率重连机制,失败告警数据拉取从数据源拉取数据持续实时数据源连接原始数据流拉取频率,批大小数据延迟,吞吐量超时重试,流量控制反序列化将二进制数据反序列化数据到达时二进制数据结构化数据记录序列化格式反序列化成功率格式异常处理数据预处理工序​数据验证验证数据完整性和格式反序列化后原始数据记录验证后数据验证规则数据质量合格率丢弃无效数据,异常记录数据清洗清洗脏数

weixin_49199313的博客 784

Flink是如何实现End-To-End Exactly-once的?

准备阶段:所有参与者(即各个任务实例)都准备好提交自己的本地事务,并向协调者报告准备就绪。提交/回滚阶段:根据协调者的指示,所有参与者要么全部提交,要么全部回滚。

学亮编程手记 867

AI应用架构师实战:高等教育智能课程推荐系统开发

性能:选课季并发量达1000QPS,推荐响应时间≤500ms(否则学生不耐烦)。数据隐私:符合《教育数据安全管理规范》,学生姓名、学号等敏感信息需匿名化存储。可扩展性:支持新增课程类型(如MOOC、实践课)、新增数据源(如竞赛获奖记录)。教育AI要“以教为中心”:不能纯技术驱动,要和教育工作者深度合作(如教师参与定义课程的前置关系)。数据是核心:数据质量决定推荐效果,要重视数据治理和隐私保护。持续迭代:教育需求是动态的(如每年新增课程、学生目标变化),要定期收集用户反馈,更新模型和策略。张三。

AI大模型应用之禅 1353

【重磅干货】介质损耗因数(tanδ)揭秘:如何精准定位材料劣化最严重的温度?附权威研究PDF!

是评估绝缘材料性能的核心指标,能直接反映材料内部能量损耗和微观结构变化。通过分析tanδ-温度曲线的峰值点,可精准定位材料劣化最严重的温度。:极化损耗峰值的温度点(如环氧树脂的80℃)是材料性能拐点,需重点关注!:图3对比了5种材料的tanδ-温度曲线,峰值温度差异高达50℃!在电力设备、电子元器件等领域,材料的老化与温度密切相关。:[《介质损耗峰值温度在设备寿命预测中的应用》]在不同温度下测量tanδ,绘制曲线图。:[《多材料介质损耗峰值温度对比研究》]:基于tanδ峰值温度开发的。

mubiao05的博客 1351

Flink容错机制(二)

既然是端到端的 exactly-once,我们依然可以从三个组件的角度来进行分析:(1)Flink 内部 Flink 内部可以通过检查点机制保证状态和处理结果的 exactly-once 语义。(2)输入端输入数据源端的 Kafka 可以对数据进行持久化保存,并可以重置偏移量(offset)。所以我 们可以在 Source 任务(FlinkKafkaConsumer)中将当前读取的偏移量保存为算子状态,写入到 检查点中;

JiaXingNashishua的博客 1198

petalinux i2c的配置

1.硬件平台配置 1.内核配置 cd petalinux-config -c kernel -> Device Drivers -> I2C support -> i2C Hardware Bus support -> Xilinx I2C Controller Pressing 启用CONFIG_I2C_XILINX=y 2.修改用户设备树 cd cd project-spec/meta-user/recipes-bsp/device-tree/files/ i2c2:

u013403954的博客 4315

从0到1Flink的成长之路(二十)-Flink 高级特性(二)之End-to-End Exactly-Once 实现

End-to-End Exactly-Once 实现 Flink内部借助分布式快照Checkpoint已经实现了内部的Exactly-Once,但是Flink自身是无法保证外部其他系统“精确一次”语义的,所以Flink 若要实现所谓“端到端(End to End)的精确一次”的要求,那么外部系统必须支持“精确一次”语义;然后借助一些其他手段才能实现 StructuredStreaming 流式应用程序精确一次性语义实现: Flink 流式应用程序精确一次性语义实现 Source 发生故障时需要支持重设数

熊老二的博客 298

告别二极管发热!手把手教你用MOS管搭建同步整流电路(附死区时间设置避坑指南)

本文详细介绍了如何利用MOS管搭建同步整流电路(SR),以替代传统二极管,显著降低导通损耗和发热问题。内容涵盖自驱动方案的选择、关键元件参数计算、PCB布局要点及死区时间设置技巧,帮助工程师优化电源设计效率。

weixin_29540599的博客 455

【SpringBoot 3.x 第56节】再见 Feign?原生 HTTP 接口强势上位,这才是微服务调用的正确姿势!

🏆本文收录于《滚雪球学SpringBoot 3》,专门攻坚指数提升,本年度国内最系统+最专业+最详细(永久更新)。    本专栏致力打造最硬核 SpringBoot3 从零基础到进阶系列学习内容,🚀均为全网独家首发,打造精品专栏,专栏持续更新中…欢迎大家订阅持续学习。 如果想快速定位学习,可以看这篇【SpringBoot3教程导航帖】,你想学习的都被收集在内,快速投入学习!!两不误。    若还想学习更多,可直接前往《滚雪球学SpringBoot(全版本合集)》,涵盖SpringBoot所有版本教学文章

**My Coding Family** 1019

Flink大声说,丢数据这个锅,我们不背!

一。问题现象笔者所在公司基于kakka-flink-es开发了一套日志中心,以方便业务部分通过日志排查业务问题(日志包括全链路日志,业务日志等)。近期业务部门反馈,日志中心在使用过程中出...

明哥的IT随笔 3万+

pi-coding-agent 完整详解

pi-coding-agent是一个由Mario Zechner开发的专业AI编程助手,基于Node.js和TypeScript构建。核心功能包括:1)多级思考模式(ThinkingLevel),从none到ultra控制推理深度;2)对话压缩(compaction)管理长对话记忆;3)WebSocket实时通信支持流式交互。该智能体支持代码生成、调试、重构等专业编程任务,采用AI Agent架构,具备工具调用和多轮记忆能力。项目结构通常包含server、agent、config等模块,可通过二次开发扩展功

大坡3D软件开发 2452

Flink DataStream 连接器(Connector)概览:预定义 Source/Sink、Flink 项目连接器与异步 I/O 数据增强实战指南

本文基于 Apache Flink 官方文档《DataStream Connectors 概览》,系统梳理 Flink DataStream API 中连接器(Connector)的完整生态:从内置的预定义 Source/Sink,到随 Flink 项目发布(但不在二进制发行版中)的 Kafka、Cassandra、Kinesis、DataGen、FileSystem、JDBC 等 15 类连接器

gitblog_00579的博客 872

21天教你学会PCIe专栏(21)--总结和展望

回顾整个课程的主要内容和知识点总结PCIe技术的发展历程和现状展望PCIe技术的未来发展趋势和应用方向分享学习心得和实践经验1.1 课程回顾基础知识:了解了PCIe的基本概念、发展历程、标准和规范。分层结构:学习了PCIe的物理层、数据链路层和事务层的结构和功能。功能和特性:掌握了PCIe的热插拔、电源管理、多功能设备等高级功能。高速接口技术:学习了PCIe 4.0、5.0和未来趋势。实际案例分析:分析了GPU加速器和存储设备的PCIe设计和优化。常见问题和解决方案。

xiaoheshang_123的博客 673

C++ 小游戏程序 (共七款)

C++编程小游戏_闪耀的天狼星的博客-优快云博客_游戏c++C++跑酷小游戏_闪耀的天狼星的博客-优快云博客。好玩的c++编程小游戏,共六款。代码】C++跑酷小游戏。

小天狼星_布莱克 的博客 3万+

Flink Checkpoint 监控指南:深入解读 Web UI 的四个选项卡与底层实现

Checkpoint(检查点)是 Flink 流式作业容错与恢复的基石,而能否快速、准确地观测 checkpoint 的运行状态,直接决定了你排查故障与调优性能的效率。本文基于 Flink 官方文档「监控 Checkpoint」展开,系统讲解 Web UI 中概览(Overview)、历史记录(History)、摘要信息(Summary)、配置信息(Configuration)四个选项卡的每一项统

gitblog_00763的博客 692

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

零基础学会flink,保姆级超详细教学

本文提供了一个三周学会Apache Flink的详细学习路线,从环境搭建到项目实战,适合零基础开发者快速掌握Flink流处理技术。 学习路线概览: 环境搭建(JDK11、Maven、IntelliJ IDEA和Flink集群) 基础入门(WordCount程序) 核心API学习(DataStream算子、时间窗口、状态管理) 高级功能(Table API/SQL、Kafka连接器) 综合项目实战(实时订单统计/用户行为分析) 第一天重点: 详细演示了开发环境配置(JDK11安装验证、Maven配置、IDEA

korry24的博客 295

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

技术深度解析:Apache SeaTunnel如何重塑企业数据集成架构

面对日益复杂的异构数据源集成挑战,传统ETL工具在实时性、可扩展性和运维复杂度方面已显疲态。Apache SeaTunnel作为新一代多模态数据集成平台,通过创新的架构设计和技术实现,为企业数据湖仓建设提供了全新的解决方案。 ## 架构演进:从批处理到流批一体的技术突破 现代企业数据架构面临的核心矛盾在于批处理与流处理的割裂。传统方案需要维护两套独立的ETL系统,导致数据一致性难以保障,运维成

gitblog_00499的博客 640

流式计算架构落地指南:Flink实时数仓与批流一体实践

在数据架构演进中,批处理因延迟高难以满足实时业务需求,流式计算应运而生。其核心原理是将数据视为源源不断的事件流,数据到达即处理,实现毫秒级响应。流式计算的技术价值在于支持状态管理和精确一次语义,保障数据一致性。在实时风控、实时监控、实时推荐和实时数仓等场景中,流式计算已成为必备能力。本文从架构视角梳理流式计算的定位、引擎选型(如Flink)、端到端链路搭建及常见问题排查,为批流一体的数据架构落地提供清晰路径。

weixin_33937499的博客 267
上一篇: flink 状态编程(有状态算子、 算子状态(Operator State)、按键分区状态(Keyed State)、状态持久化、状态后端)
下一篇: flink 窗口表值函数
但行益事莫问前程
但行益事莫问前程 新星创作者: 数据库技术领域 新星创作者: 数据库技术领域
博客等级 码龄7年 8490粉丝 225原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值