Flink CheckPoint流程

最新推荐文章于 2024-12-06 11:20:08 发布
原创 最新推荐文章于 2024-12-06 11:20:08 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #hdfs #大数据

本文介绍了Flink的Checkpoint协调器如何工作，从JobManager创建CheckpointCoordinator开始，详细阐述了source到sink的Barrier传播过程，以及每个算子在接收到Barrier后如何进行备份并报告完成状态，最终形成完整的Checkpoint流程。

Flink JobManager会创建一个Checkpoint Coordinator（检查点协调器）

并由Coordinator向source发送Barrier，source收到barrier之后进行备份，并存储到hdfs或者其他介质当中

source同时做两步操作（向Coordinator汇报已经完成备份，向下游算子发送Barrier）

下游算子收到Barrier之后同样会进行备份操作

下游算子同时做两步操作（向Coordinator汇报已经完成备份，向下游算子发送Barrier）

重复上面操作（发送Barrier，备份，汇报，继续向下发送Barrier）

最终Barrier到达sink，同样进行备份，然后向Coordinator汇报备份完成，至此，整个Checkpoint流程完成。

 

Flink Checkpoint 执行流程及优化方案
feiyan的博客
05-02 2398
Flink Checkpoint主要从以下几方面进行介绍： Checkpoint 执行流程 checkpoint 执行失败问题分析 非对齐checkpoint 优化方案 动态调整 buffer 大小 通用增量快照 1. checkpoint 执行流程 如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步： 在数据流中插入 checkpoint barrier； 每执行到当前算子时，对算子 state 状态进行同步快照与异步上传； 当算子是多输入时，要进行 barrier
自动化测试-鉴权
北堂飘霜_记录
09-06 1444
当我用selenium进行测试的时候，发现了一个问题，原本不需要鉴权的网页突然需要鉴权了。果然问题解决，但是引入了新的问题：如果已经打开了浏览器，则会报错。我想浏览器的信息应该是共享的，然后使用配置。通过研究得知，是因为浏览器进程不准有残留。仅仅是一次问题的记录，以便于日后朔源。
继 remote stacktrace: Backtrace 报错
Obeying的博客
06-04 1258
这个可以通过他给定的相关的参数，通过代码来解决此类问题。 具体的浏览器得看网站给出的函数方法。 这里以谷歌浏览器为例。 先进这个官网 点击下方下载 hmm，这可能和我浏览器翻译有关，hhhh别介意，你选择相关的语言，点击后面的API文档 点击下面第一个 就是（组织，开放卡，铀） 然后找到这个webdriver 终于正常点了，还好他没翻译，点击下面哪一行里，你想要的浏览器的driver， 点击进去 这里面就是你需要的函数的构造方法。 package text; import org.openq
Flink CheckPoint详细过程
qq_15138049的博客
04-30 1082
Checkpoint由JM的Checkpoint Coordinator发起 第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。 第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。 第三步，当 task 完成 state 备份后，会将备..
flink checkpoint 执行流程
qq276726581的博客
03-26 499
class Src extends RichSourceFunction<Integer> implements CheckpointedFunction, CheckpointListener { @Override public void initializeState(FunctionInitializationContext context) throws Exception { Syste...
【Flink】Flink Checkpoint 流程解析
HHoao的博客
12-03 1502
任务运行后 JobMaster 定时执行 Checkpoint，JobMaster 会通过调用 CheckpointCoordinator 对作业进行 Checkpoint。CheckpointCoordinator 开始进行 Checkpoint，它首先会先创建 PendingCheckpoint，然后开始给 Checkpoint 计时，再关闭网关开始触发 OperatorCoordinator 的 Checkpoint。
flink checkpoint 流程
06-08
下面是 Flink Checkpoint 流程的概述： 1. 触发检查点：Flink 定期触发检查点，以便将当前应用程序的状态保存到持久化存储中。检查点的触发可以通过时间间隔或数据大小等方式进行配置。 2. 状态快照：在触发检查点...
Flink checkpoint 源码分析- Flink Checkpoint 触发流程分析
TONIYH的博客
04-29 1393
Flink的checkpoint的过程依赖于异步屏障快照算法，该算法在《Lightweight Asynchronous Snapshots for Distributed Dataflows》这篇paper中被提出。理解了这篇paper也就明白了flink的chekpoint机制。paper整体来说比较简单易懂，这篇博文主要是介绍flink中checkpoint触发流程。持续分析学习~
Flink checkpoint 执行流程及优化方案
m0_61607827的博客
04-19 1822
今天为大家带来Flink checkpoint核心知识点以及优化方案，本文主要从以下几方面进行介绍： 1 Checkpoint 执行流程 2 checkpoint 执行失败问题分析 3 非对齐checkpoint 优化方案 4 动态调整 buffer 大小 5 通用增量快照 文章PDF版本已经整理好，扫描下方二维码，添加土哥微信，发你 PDF 版本。 1 checkpoint 执行流程 如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步： 在...
Flink checkpoint操作流程详解与报错调试方法汇总，增量checkpoint原理及版本更新变化，作业恢复和扩缩容原理与优化
Direction_Wind的博客
02-20 3507
第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。
flink checkpoint 流程源码分析
yuchuanchen的专栏
05-14 1901
flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr
checkpoint的过程
Uncle.Cui的技术博客
04-20 604
1、部分用户线程被挂起，禁止访问数据库； 2、记下检查点的时间戳； 3、物理日志缓冲区被刷新到磁盘上的物理日志中； 4、将缓冲池中被修改的数据写入磁盘； 5、检查点信息写入逻辑日志缓冲区； 6、将物理日志写入逻辑日志缓冲区(这个观点之前没有见过）； 7、逻辑日志缓冲区写入磁盘上的逻辑日志中； 8、检查点信息被写入MSGPATH文件，同时更新系统保留页中的信息； 9、挂起的线程被允许...
flink checkpoint原理
zippo
07-23 476
理想中的state管理 理想的状态管理是： 易用，flink提供了丰富的数据结构，简洁易用的接口； 高效，flink对状态的处理读写快，可以横向扩展，保存状态不影响计算性能； 可靠，flink对状态可以做持久化，而且可以保证exactly-once语义； flink中checkpoint执行流程 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致
【详细介绍及演示】Flink之checkpoint检查点的使用
song的博客
11-27 4181
快照点, 是Flink中所有有状态的Operator在某一个时刻的State快照信息/存档信息。一句话概括:Checkpoint就是State的快照。savePointcheckpoint自动完成state快照、savePoint是手动的完成快照。如果程序在没有设置checkpoint的情况，可以通过savePoint设置state快照有两种添加检查点的方式：1、在java代码中自动添加在执行任务时会在hdfs上创建检查点// 第一句：开启快照，每隔1s保存一次快照。
【Flink 基础篇】Flink 架构（五）：检查点 Checkpoint（看完即懂）
Code · Cloud · Think · Repeat
01-28 3920
本篇博客我们将介绍 Flink 的检查点（checkpoint）及故障恢复机制，看一下它们如何提供精确一次的状态一致性保障。而在下一篇博客中，我们还会讨论 Flink 所独有的保存点（savepoint）机制，它就像一把 “瑞士军刀”，解决了运行流式应用过程中的诸多难题。
工作中python报错处理方法
LL1627的博客
03-02 2025
报错问gpt，gpt不行的话百度，还是不行就把脚本粘给gpt逐行请教gpt代码的意思，再自行排查脚本的隐藏错误。
python selenium Exception:element not interactable
huangrunxing的专栏
05-16 2611
D:\software\python3\python.exe C:\Users\h220406010\AppData\Roaming\JetBrains\IntelliJIdea2021.1\plugins\python\helpers\pydev\pydevd.py --multiproc --qt-support=auto --client 127.0.0.1 --port 52944 --file E:/myworkspace/nanxiuzi_learn/baserocks/python/Sele.
Qt QtWebEngineCore 在嵌入 H5 页面后崩溃
傻傻的宝玉
06-08 2556
QtWebEngineCore 在嵌入 H5 页面后崩溃。 但不是每台电脑都出现崩溃。 报错如下： [0608/110339:FATAL:backend_impl.cc(1656)] Check failed: hash & mask_ == cache_entry->entry()->Data()->hash & mask_ (73872 vs. 67938) Backtrace: GetHandleVerifier [0x11A31731+277617] ...
页面跳转到新窗口并操作新页面的解决方案
最新发布
追梦的女孩博客
12-06 1206
我一直卡在这个问题这，以为是我的元素定位不对，但两个态的登录组件都是一样，元素的id及xpath也都是一样的。甚至怀疑是不是内存泄漏。由于我测试的应用存在设计态和运行态两个，所以我需要对这两个态都进行验证。但是我的运行态又要依赖于设计态的应用才能进行页面跳转。使用显式等待和集合运算来确保新窗口句柄被正确捕获，并立即将其存储在 self.vars 中以便后续引用。navigate_to_runtime_page:确认新窗口确实打开。switch_to_new_window:处理新窗口/标签页切换。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值