Flink的Checkpointing机制

最新推荐文章于 2024-05-07 09:54:04 发布
最新推荐文章于 2024-05-07 09:54:04 发布
阅读量5.3k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ddxygq/article/details/86601948
Flink的Checkpointing机制用于容错，确保有状态的functions的持久化和恢复。要启用检查点，需设置检查点间隔并选择状态后端如HDFS。检查点与数据source的持久化和状态存储交互，支持exactly-once或at-least-once语义。对于迭代作业，检查点需特殊设置，而重启策略控制故障后的作业恢复方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

先决条件

启用和配置检查点

选择状态的后端存储（State Backend）

迭代式作业中的状态检查点（State Checkpoints in Iterative Jobs）

重启策略（Restart Strategies）

Flink中的每个function和operator都可以是有状态的（有关详细信息请参阅有状态的运行）。有状态的functions通过处理各个元素/事件来存储数据，并把状态作为关键构建以支持任何类型更复杂的操作。

为了使状态能够容错，Flink需要状态的检查点。Flink通过检查点恢复流中的状态和位置，进而使得应用程序与无故障执行具有相同的语义。

关于流容错的文档 详细介绍了Flink流容错机制的技术。

先决条件

Flink的检查点机制与流和状态的持久化存储交互，一般来说该机制需要：

  • 持久化的数据source，它可以在一定时间内重放事件。这种数据sources的典型例子是持久化的消息队列（比如Apache Kafka，RabbitMQ，Amazon Kinesis，Google PubSub）或文件系统（比如HDFS，S3，GFS，NFS，Ceph，。。。）。
  • 用于状态的持久化存储器，通常是分布式文件系统（比如HDFS，S3，GFS，NFS，Ceph，。。。）

启用和配置检查点

了解本专栏 订阅专栏 解锁全文
【Flink】Flink 新一代流计算和容错 Unaligned Checkpoint、快速Checkpoint、更小的Checkpoint
九师兄
08-15 747
仅供自我学习，里面的三个检查点相关的，我觉得很重要很清晰，记录一下，防止找不到了。摘要：本文整理自 Apache Flink 引擎架构师、阿里巴巴存储引擎团队负责人梅源在 Flink Forward Asia 2021 核心技术专场的演讲。本次演讲内容围绕 Flink 的高可用性探讨 Flink 新一代流计算的核心问题和技术选型，包括：Flink 高可用流计算的关键路径容错 (Fault Tolerance) 2.0 及关键问题数据恢复过程稳定快速高效的 Checkpointing。......
Flink学习 - 9. Checkpoint使用方式
jerome520zl的博客
01-13 3276
Flink学习 - 9. Checkpoint使用方式checkpoint 开启checkpoint 模式checkpoint存储位置实例代码启动程序碰到的问题 checkpoint 开启 默认的checkpoint是关闭的，需要使用的使用要优先开启 开启方式： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecu...
Flink1.3 Checkpointing
大怀特的博客
11-11 562
在Flink中每个函数或是操作可以有状态(查看伴随状态详情).状态函数存储数据是通过处理独立的元素或事件, 使操作的任何复杂类型成为状态的核心块. 为了使状态有容错性,Flink需要checkpoint状态. Checkpoints允许Flink恢复状态和流运行的位置,这样给应用无故障运行. 流容错性文档描述Flink技术流处理容错机制细节. 预备知识 Flink checkpointing机制和流存储和状态相互作用.通常,需要: 持久化的数据源可以在确定时间回复记录. 例如数据是可以持久化消息队
Checkpointing
universe_ant的博客
06-04 441
一、Checkpointing 下图主要是描述word count的Job逻辑： barrier由source节点发出； barrier会将流上event切分到不同的checkpoint中； 汇聚到当前节点的多流的barrier要对齐； barrier对齐之后会进行checkpointing，生成snapshot； 完成snapshot之后向下游...
17、Flink 的 Checkpointing 配置详解
最新发布
猫猫爱吃小鱼粮
05-07 2528
Flink 的 Checkpointing 配置详解
Flink在代码中配置checkpoint
Peanut的博客
04-29 2144
def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment // 设置statebackend，默认保存在内存中;可以设置保存到本地或者HDFS env.setStateBackend(new FsStateBackend("localPath | hdfsPATH
Flink Checkpointing
唤不醒的梦
11-05 497
flink中每个function和operator都可以状态化，具有可状态化的元素，可以再处理数据过程中进行数据存储，参与数据的容错。 启用和配置检查点 flink程序中，默认关闭Checkpointin。如果想启用Checkpointing，可通过StreamExecutionEnvironment.enableCheckpointing(n)，n为毫秒，表示进行checkpoint间隔时间。 (未完待续。。。) ...
Spark 检查点（checkpoint）
热门推荐
03-25 5万+
Checkpointing可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)， 即它可以将数据和元数据保存到检查指向目录中。因此，在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。开发人员可以是来方法来设置检查点。在使用检查点之前，必须使用方法设置检查点目录。所以其实我们的checkpoint主要用于Spark Streaming任务。
checkpointing过程 机制
C_time的博客
08-31 491
checkpointing过程 机制 即secondarynamenode怎么工作的，做什么工作的. NameNode和SecondaryNamenode对fsimage与edits的操作 请大家看完指正！！！ 肯定有不对的地方，感谢！ 个人理解： 1.刚开启服务，namenode主动将edits和fsimage合并。 2.SecondaryNamenode刚开启不做操作，它是namenode的助...
Checkpointing的作用，设置
weixin_42238112的博客
11-15 336
Checkpointing 已经作为“torch.utils.checkpoint.checkpoint_wrapper"API的一部分实现，通过该API可以包装前向过程中的不同模块。Checkpointing 通过重写“torch.autograd.Function"来实现。在处理模块前向传递的“forward"函数中，如果使用“no_grad"，我们可以在很长一段时间内（即直到反向传播之前）防止正向图的创建和中间激活张量的物化（？什么意思？。
flink checkpoint配置整理
路过君的博客
05-31 1990
版本 flink 1.14.4 代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 启用 checkpoint,设置触发间隔（两次执行开始时间间隔） env.enableCheckpointing(3000); // 模式支持EXACTLY_ONCE()/AT_LEAST_ONCE() env.getCheckpointConfig().setCheckpointingMo
flinkcdc 3.0 尝鲜
Antg的博客
01-21 3055
flinkcdc3.0 从环境搭建到demo全流程体验
Spark Checkpointing 错误恢复
wangfengjunaaa的专栏
09-26 1034
Checkpointing（检查点）A streaming application must operate 24/7 and hence must be resilient to failures unrelated to the application logic (e.g., system failures, JVM crashes, etc.). For this to be possibl
Flink借助Kafka实现端到端精准一次_flink 如何保障数据一致性
2401_84164672的博客
04-12 2736
那么在检查点保存的时候，系统故障，保存检查点失败，那么恢复检查点的时候，恢复的是上次成功保存检查点的数据偏移量，如果不对新数据进行保护，可能就会把之前有可能。
深入了解 Flink 的检查点机制
AI天才研究院
12-31 1347
1.背景介绍 Flink 是一个流处理框架，用于实时数据处理。检查点(checkpoint)机制是 Flink 的一个核心组件，用于保证流处理作业的可靠性和容错性。在这篇文章中，我们将深入了解 Flink 的检查点机制，涵盖其核心概念、算法原理、实例代码以及未来发展趋势。 1.1 Flink 的检查点机制 Flink 的检查点机制是一种保存作业状态的方法，使得在发生故障时可以从最近的检查点恢...
Flink 检查点启用与配置
weixin_44673830的博客
03-10 3896
Flink版本：1.11 Flink 中每个函数和算子都可以是有状态的。有状态函数在处理单个元素/事件时会存储数据。为了能够使状态可以容错，Flink 需要对状态进行 checkpoint。checkpoint 可以允许 Flink 在流中恢复状态以及消费位置。 1. 前提条件 Flink Checkpoint 机制可以与流和状态的持久化存储进行交互。一般来说，需要： 一个可持久化（或保存很长时间）的数据源：可以重新消费指定时间段的记录。持久化消息队列（例如，Apache Kafka，Rabbi.
checkpoint参数设置
wuhahaq的博客
04-06 961
checkpoint参数设置
Flink 容错机制 —— CheckPoint【含示例源码】
认知 行动 坚持
08-24 1844
一、Flink 容错 1.1 State 状态 Flink 实时计算程序为了保证计算过程中，出现异常可以容易，就要将中间的计算结果数据存储起来，如果不保存中间结果那么需要重新计算效率就非常低下，这些中间数据就叫做State。 State 可以是多种类型的，默认是保存在 JobManager 的内存中，也可以保存到 TaskManager 本地文件系统或HDFS 这样的分布式文件系统。 1.2 StateBackEnd 用来保存 State 的存储后端就叫做 StateBackEnd。默认是保存在
Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像； Checkpoint 的主要目的是为意外失败的作业提供恢复机制(如 tm/jm 进程挂了)。 Checkpoint 的生命周期由 Flink 管理，即 Flink 创建，管理和删除 Checkpoint - 无需用户交 互。 Savepoint 由用户创建，拥有和删除。 他们的用例是计划的，手动备份和恢复。 Savepoint 应用场景，升级 Flink 版本，调整用户逻辑，改变并行度，以及进行红蓝部署等。 Savepoint 更多地关注可移植性。。。怎么记。。
05-18
可以这样记忆：Checkpoint 是 Flink 内部自动创建的用于恢复故障的状态备份，Savepoint 则是由用户手动创建的用于备份和迁移作业状态的镜像。Checkpoint 生命周期由 Flink 管理，而 Savepoint 由用户掌控。Savepoint...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值