Flink的CheckPoint与SavePoint

[Flink原理介绍第四篇】:Flink的Checkpoint和Savepoint介绍 第一部分:Flink的Checkpoint 1. Flink Checkpoint原理介绍 Checkpoint是Flink实现容错机制最核心的功能,它能够根据配置周期性地基于Stream中各个Operator的状态来生成Snapshot,从而将这些状态数据定期持久化存储下来,当Flink程序一旦意外崩溃时,重新运行程序时可以有选择地从这些Snapshot进行恢复,从而修正因为故障带来的程序数据状... 阅读详情

Flink的Checkpoint(检查点)和Savepoint(保存点)是两种不同的状态快照机制,主要区别如下:

1. ‌Checkpoint‌

  • ‌核心功能‌:周期性触发的容错机制,用于故障恢复时保证状态一致性57。
  • ‌触发方式‌:由JobManager周期性触发,通过Barrier机制实现分布式快照26。
  • ‌存储内容‌:保存所有算子的状态快照,支持Exactly-Once语义15。
  • ‌生命周期‌:自动管理,旧检查点会被清理以释放存储空间7。
  • ‌性能影响‌:高频检查点可能增加系统开销,需平衡间隔时间与恢复速度7。

2. ‌Savepoint‌

  • ‌核心功能‌:手动触发的全局状态快照,用于有计划的状态迁移或版本升级5。
  • ‌触发方式‌:通过命令行或API显式触发,生成完整应用状态副本5。
  • ‌存储内容‌:包含检查点数据及作业拓扑信息,支持跨集群或配置恢复5。
  • ‌生命周期‌:需手动维护,长期保留需额外存储成本5。
  • ‌用途扩展‌:支持作业暂停后从相同状态恢复,或Flink版本升级时的兼容性测试5。

3. ‌关键差异‌

‌特性‌‌Checkpoint‌‌Savepoint‌
‌触发方式‌自动周期性触发27手动触发5
‌存储目标‌故障恢复(短期)7运维操作(长期)5
‌数据包含‌仅状态快照1状态+作业拓扑5
‌性能优化‌增量快照(RocksDB支持)3全量快照5

4. ‌技术实现‌

  • ‌Checkpoint‌:基于Chandy-Lamport算法,通过Barrier对齐实现一致性快照26。
  • ‌Savepoint‌:依赖Checkpoint机制生成,但需额外序列化作业元数据5。

两者共同构成Flink的容错与运维能力,Checkpoint保障实时可靠性,Savepoint提供灵活性运维支持

Flink-使用checkpoint和savepoint进行快照恢复 flink-使用checkpoint和savepoint进行快照恢复使用checkpoint(自动,由flink本身来管理)准备测试代码测试步骤flink run的常见参数flink-checkpoint的配置文件配置(不需要代码设置)使用Savepoint(用户手动操作)Savepoint需要注意的点:手动savepoint的步骤删除savepoint 使用checkpoint(自动,由flink本身来管理) 准备测试代码 public class Demo1 { public static vo 阅读详情

相关推荐

Flink检查点(checkpoint)、保存点(savepoint)的区别与联系

最近一段时间很忙,顾不上仔细选题,写一个所有人都知道的小知识点吧。 checkpoint和savepoint是Flink为我们提供的作业快照机制,它们都包含有作业状态的持久化副本。官方文档这样描述checkpoint: Checkpoints make state in Flink fault tolerant by allowing state and the correspo...

LittleMagic's Blog 8169

Flink之checkpoint和savepoint的区别

1.什么是Checkpoint Checkpoint:一种由 Flink 自动执行的快照,其目的是能够从故障中恢复。Checkpoint 使 Flink 的状态具有良好的容错性,通过 checkpoint 机制,Flink 可以对作业的状态和计算位置进行恢复。 Checkpoint 对于用户层面,是透明的,用户会感觉程序一直在运行。 用户无法对其进行交互,用户可以在程序启动之前,设置好实时程序 Checkpoint 相关参数,当程序启动之后,剩下的就全交给 Flink 自行管理。 (1)checkpoint

鸡排小农的博客 4618

Flink 专题 -2Checkpoint、Savepoint 机制

文章目录CheckPoint1. checkpoint 保留策略2. Checkpoint 配置3. Checkpoint 状态点恢复SavepointSavepoint 介绍savepoint 和 checkpoint 区别Assigning Operator IDs ( 分配 operator ids)Savepoint State保存Savepoint在yarn 集群中保存Savepoint...

augus_one的博客 2871

Flink CheckPoint 与 SavePoint 区别

CheckPoint 与 SavePoint 区别 概念 1. checkpoint checkpoint主要目的是在意外作业失败的情况下提供一个恢复机制。checkpoint的生命周期由Flink管理,也就是说,checkpoint由Flink创建、拥有和释放–无需用户互动。由于checkpoint经常被触发,并被用于故障恢复,checkpoint实现的两个主要设计目标是:尽可能轻量级地创建和尽可能快速地恢复。对这些目标的优化可以利用某些属性,例如,工作代码在执行尝试之间不会改变。 在flink任务故障

qq_27242695的博客 1001

Flink的Checkpoint和savepoint的区别和作用

Flink的Checkpoint和savepoint的区别和作用 一、Flink的checkpoint flink的checkpoint是异步的、分布式的、轻量级的,将同一时间点的task/operator的状态数据全局统一快照处理,包括用户自定义的keyed state和operator state 当未来程序出现问题,可以基于保存的快照容错。 checkpoint的原理 A:flink会在输入的数据集中,间隔的生成checkpoint barrier,通过barrier间隔时间段内的数据划分到相应的c

weixin_43525585的博客 1354

flink checkpoint 恢复_flink-savePoint

引用:说到 Savepoint,这里也提一下社区完成的另外一个实用功能,即FLIP-34(Stop with Savepoint)。大家都知道 Flink 会周期性的进行 Checkpoint,并且维护了一个全局的状态快照。假如我们碰到这种场景:用户在两个Checkpoint 周期中间主动暂停了作业,然后过一会又进行重启。这样,Flink 会自动读取上一次成功保存的全局状态快照,并开始计算上一次全...

weixin_32770697的博客 740

flink(十三):flink-CheckPoint和SavePoint作用和区别

文章目录分享说明CheckcPoint运行原理开启设置保存多个CheckPoint恢复任务SavePoint运行原理创建SavePoint恢复任务SavePoint和CheckPoint的区别详细区别总结 分享 大数据博客列表 说明 本博客周五更新一次 Flink 功能模块CheckPoint(检查点)和SavePoint(保存点)是任务异常后恢复任务的重要功能,当任务异常关闭时,可以从检查点或保存点恢复任务。 CheckcPoint CheckPoint是 flink 实现容错机制最核心的功能,

幻神舞的专栏 2051

Flink中Checkpoint和Savepoint的区别

1 概念 1.1 Checkpoint In order to make state fault tolerant, Flink needs to checkpoint the state. Checkpoints allow Flink to recover state and positions in the streams to give the application the same semantics as a failure-free execution. 为了使状态容错,Flink需要对状态

penriver的博客 997

flink savepoint 和 checkpoint对比

flink 设计checkpoint为什么还要设计savepoint? Savepoint 和 Checkpoint 都是使用 Asynchronous Barrier Snapshotting(简称 ABS)算法实现分布式快照的,都可以确保一致性、容错、故障恢复。 1.什么是 Checkpoint? Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时,即使突然遇到异常也能够进行自我恢复。Checkpoint 对于用户层面,是透明的,用户会感觉程序一直在运行。Flink Ch

启迪思维,精进技术 2840

Flink Checkpoint,Savepoint 异同

Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时,即使突然遇到异常也能够进行自我恢复。Checkpoint 对于用户层面,是透明的,用户会感觉程序一直在运行。Flink Checkpoint 是 Flink 自身的系统行为,用户无法对其进行交互,用户可以在程序启动之前,设置好实时程序 Checkpoint 相关参数,当程序启动之后,剩下的就全交给 Flink 自行管理。当然在某些情况,比如 Flink On Yarn 模式,某个 Container 发生 OOM 异常,这种

Top5软件工程硕士,先后在京东、字节从事多年Java后端开发、实时和离线大数据开发 487

基于AR和SLAM技术的商场智能导视系统技术原理详解

本文针对智慧商场室内导航需求,提出基于AR和SLAM技术的商场智能导视系统技术方案,实现了沉浸式导览体验并促进消费转化,助力商场运营升级。

维小帮定位导航的博客 1242

Flink系列之:Checkpoints 与 Savepoints

从概念上讲,Flink 的 savepoints 与 checkpoints 的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints 的主要目的是为意外失败的作业提供恢复机制。Checkpoint 的生命周期 由 Flink 管理, 即 Flink 创建,管理和删除 checkpoint - 无需用户交互。由于 checkpoint 被经常触发,且被用于作业恢复,所以 Checkpoint 的实现有两个设计目标:i)轻量级创建和 ii)尽可能快地恢复。

zhengzaifeidelushang的博客 1720

别再手动配网了!用安信可PB-02模组+PHY Mesh App,5分钟搞定蓝牙Mesh智能灯群控

本文详细介绍了如何使用安信可PB-02模组和PHY Mesh App快速搭建蓝牙Mesh智能灯群控系统。通过5分钟的硬件连接和固件烧录,用户可实现多灯分组控制、场景切换及地理围栏等高级功能,显著提升智能家居部署效率。方案特别适合需要快速实现灯光群控的场景。

weixin_28675839的博客 416

[1143]Flink的Checkpoint和Savepoint

文章目录Flink的Checkpoint和Savepoint介绍第一部分:Flink的Checkpoint1\. Flink Checkpoint原理介绍2\. Checkpoint的简单设置3. 保存多个Checkpoint4.从Checkpoint进行恢复Checkpoint1、checkpointConfig2、barrier第二部分: Flink的Savepoint1.Flink的Savepoint原理介绍2.创建Savepoint3.从Savepoint恢复4. Savepoint目录结构flin

周小董 5189

自动化学报Ctex+texstudio配置方法

自动化学报Latex的模板win10使用方法(CTEX+texstudio)

zxy15924462502的博客 7371

在mdk文件移植太多_XCubeClassB代码 的移植

前言ST在www.st.com官网上提供了针对IEC60730/IEC60335 ClassB认证的软件包。软件包分为三个,分别适用STM8,STM32(基于标准外设库)和STM32(基于HAL库):STM8-SafeCLASSB,STM32-CLASSB-SPL,X-CUBE-CLASSB。本文以X-CUBE-CLASSB为例介绍如何做代码的移植以及经常遇到的问题的解决办法。X-CUB...

weixin_28898707的博客 1832

Flink Savepoint 和 Checkpoint 使用

flink Savepoint 和 Checkpoint 使用 checkpoint 应用定时触发,用于保存状态,会过期 内部应用失败重启的时候使用,特点是作业容错自动恢复,轻量,自动周期管理 savepoint 用户手动执行,是指向Checkpoint的指针,不会过期 在升级的情况下使用,特点关注状态数据可以移植性,状态数据生成和恢复成本高,用户手动管理 注意:为了能够在作业的不同版本之间以及 Flink 的不同版本之间顺利升级,强烈推荐程序员通过 uid(String) 方法手动的给

yang灬仔 5296

宇树G1二次开发资料汇总

宇树科技G1是一款29自由度的商业级人形机器人,配备NVIDIA Jetson Orin NX计算平台和完整SDK生态。本文系统介绍了G1的硬件架构、29个关节配置、传感器外设、双计算单元设计等关键信息,并详细解析了软件生态体系,包括C++/Python SDK、ROS2接口、仿真工具和AI框架。开发者可通过DDS通信实现高层运动控制或底层关节级精确控制,支持快速二次开发。文档提供了网络配置、接口调用示例等实用指南,帮助开发者高效利用该平台进行人形机器人应用开发。

m0_47999117的博客 1313

flink checkpoint和savepoint的实践使用

环境: flink job 采用的是on yarn模式 步骤1:修改flink-conf.yaml state.backend 存储和检查点的后台存储。可选值为rocksdb filesystem hdfs state.checkpoints.dir 保存检查点目录 state.backend.incremental 增量存储 state.checkpoints.num-retained 保留最近检查点的数量 注释:hdfs://haservice/flink-checkpoints...

u012447842的博客 1405

别再用第三方黑盒库了!从零手写C#+YOLOv12推理全流程,框位准、可定制、调试快10倍

从零手写YOLO推理框架,不是为了造轮子,而是为了完全掌控代码,工业现场的需求千变万化,第三方黑盒库根本没法满足所有需求。这套代码我已经在东莞长安的3家PCB厂、深圳南山的2家3C电子厂落地了,稳定运行6个月,没有出过任何问题。如果有什么问题或者需要扩展的功能,都可以在评论区交流。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 323

基于HetConv与Dual策略的YOLOv8轻量化设计-CSPHet结构的优化与实现

在计算机视觉中,YOLOv8作为目标检测领域的最新版本,通过引入多种改进来提升检测精度和速度。然而,提升精度和保持实时性能往往需要更多参数与计算量。本文提出一种结合Dual思想与HetConv的新型轻量化结构,称为CSPHet。CSPHet能够在保持YOLOv8检测精度的基础上有效减少约70万参数量,实现模型的轻量化和速度的提升。HetConv(Heterogeneous Convolution)是一种混合卷积技术,通过同时使用1x1、3x3等不同大小的卷积核,来捕捉不同尺度的特征。

博客 1324

Flink checkPoint和SavePoint

savepoint和checkpoint都是flink为容错提供的强大功能特性,能够自动或手动保存job的运行状态checkpoint:应用定时触发,用户保存状态,会过期,内部应用失败重启的时候启用,但是手动cancel时,会删除之前的checkpointsavepoint:用户手动置顶,相当于状态的备份,可以在bin/flink cancel xx的时候调用,一般用于修改并行度,程序升级等等。如果想要在程序停掉后重启,数据一致的情况下,强烈推荐使用cancel时做savepoint,当然如果程序中没有涉及

程序员路同学 1536

基于电能质量治理的场景实例:统一电能质量调节器(UPQC)与并网逆变器集成

本文通过Simulink平台,详细演示了统一电能质量调节器(UPQC)与并网逆变器的集成系统建模与仿真过程。主要内容包括:1)系统架构设计,包含光伏并网系统、非线性负载和电压扰动源;2)UPQC主电路设计,包括串联/并联单元拓扑和控制策略实现;3)与并网逆变器的能量交互与协同控制逻辑;4)典型电能质量问题的仿真测试场景。结果表明,该集成系统能有效治理电压暂降(维持负载电压380V±2%)和电流谐波(电网THD<3%),直流母线电压稳定在800V±5V。该系统为应对复杂电能质量问题提供了"电压

xiaoheshang_123的博客 309

Flink示例——State、Checkpoint、Savepoint

文章目录Flink示例——State、Checkpoint、Savepoint版本信息状态后端 State Backend (管理State、Checkpoint)State 示例CheckpointSavepoint Flink示例——State、Checkpoint、Savepoint 版本信息 产品 版本 Flink 1.7.2 Java 1.8.0_231 Scal...

蒋含竹的博客 1203

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Flink DataStream Checkpoint和Savepoint

针对不同场景,Flink提供了Checkpoint和Savepoint两种容错机制。 本文总结Checkpoint和Savepoint的使用。 Checkpoint Checkpoint存储状态数据,由Flink自己定期触发和清除,轻量快速,主要应用于作业生命周期内故障时恢复。 Checkpoint配置 StreamExecutionEnvironment env = StreamExecutio...

王佩的优快云博客 2848

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

flink 从savepoint、checkpoint中恢复数据

flink作业因为故障导致restart strategy失败或升级flink版本重新发布任务,这时就需要从最近的checkpoint恢复。一般而言有两种方案,第一种方案是开启checkpoint且任务取消时不删除checkpoint(调整参数execution.checkpointing.externalized-checkpoint-retention),第二种方案是定时触发savepoint(编写代码调用flink rest api)。

不是一枚开发 3474

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: 记录一次艰难的问题排查
下一篇: JVM模型
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值