Flink的Checkpointing机制

最新推荐文章于 2024-05-07 09:54:04 发布
最新推荐文章于 2024-05-07 09:54:04 发布
阅读量5.3k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ddxygq/article/details/86601948
Flink的Checkpointing机制用于容错，确保有状态的functions的持久化和恢复。要启用检查点，需设置检查点间隔并选择状态后端如HDFS。检查点与数据source的持久化和状态存储交互，支持exactly-once或at-least-once语义。对于迭代作业，检查点需特殊设置，而重启策略控制故障后的作业恢复方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

先决条件

启用和配置检查点

选择状态的后端存储（State Backend）

迭代式作业中的状态检查点（State Checkpoints in Iterative Jobs）

重启策略（Restart Strategies）

Flink中的每个function和operator都可以是有状态的（有关详细信息请参阅有状态的运行）。有状态的functions通过处理各个元素/事件来存储数据，并把状态作为关键构建以支持任何类型更复杂的操作。

为了使状态能够容错，Flink需要状态的检查点。Flink通过检查点恢复流中的状态和位置，进而使得应用程序与无故障执行具有相同的语义。

关于流容错的文档 详细介绍了Flink流容错机制的技术。

先决条件

Flink的检查点机制与流和状态的持久化存储交互，一般来说该机制需要：

  • 持久化的数据source，它可以在一定时间内重放事件。这种数据sources的典型例子是持久化的消息队列（比如Apache Kafka，RabbitMQ，Amazon Kinesis，Google PubSub）或文件系统（比如HDFS，S3，GFS，NFS，Ceph，。。。）。
  • 用于状态的持久化存储器，通常是分布式文件系统（比如HDFS，S3，GFS，NFS，Ceph，。。。）

启用和配置检查点

了解本专栏 订阅专栏 解锁全文
Flink学习 - 9. Checkpoint使用方式
jerome520zl的博客
01-13 3274
Flink学习 - 9. Checkpoint使用方式checkpoint 开启checkpoint 模式checkpoint存储位置实例代码启动程序碰到的问题 checkpoint 开启 默认的checkpoint是关闭的，需要使用的使用要优先开启 开启方式： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecu...
Flink1.3 Checkpointing
大怀特的博客
11-11 562
在Flink中每个函数或是操作可以有状态(查看伴随状态详情).状态函数存储数据是通过处理独立的元素或事件, 使操作的任何复杂类型成为状态的核心块. 为了使状态有容错性,Flink需要checkpoint状态. Checkpoints允许Flink恢复状态和流运行的位置,这样给应用无故障运行. 流容错性文档描述Flink技术流处理容错机制细节. 预备知识 Flink checkpointing机制和流存储和状态相互作用.通常,需要: 持久化的数据源可以在确定时间回复记录. 例如数据是可以持久化消息队
Checkpointing
universe_ant的博客
06-04 441
一、Checkpointing 下图主要是描述word count的Job逻辑： barrier由source节点发出； barrier会将流上event切分到不同的checkpoint中； 汇聚到当前节点的多流的barrier要对齐； barrier对齐之后会进行checkpointing，生成snapshot； 完成snapshot之后向下游...
17、Flink 的 Checkpointing 配置详解
最新发布
猫猫爱吃小鱼粮
05-07 2524
Flink 的 Checkpointing 配置详解
分布式Snapshot和Flink Checkpointing简介.docx
05-20
Flink的Checkpointing机制是在Chandy-Lamport算法的基础上进行优化和扩展的。Flink是一个高性能的流处理框架，它支持有界和无界数据流的处理。在Flink中，Checkpointing是保证容错性和数据一致性的关键特性。它定期...
Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像； Checkpoint 的主要目的是为意外失败的作业提供恢复机制(如 tm/jm 进程挂了)。 Checkpoint 的生命周期由 Flink 管理，即 Flink 创建，管理和删除 Checkpoint - 无需用户交 互。 Savepoint 由用户创建，拥有和删除。 他们的用例是计划的，手动备份和恢复。 Savepoint 应用场景，升级 Flink 版本，调整用户逻辑，改变并行度，以及进行红蓝部署等。 Savepoint 更多地关注可移植性。。。怎么记。。
05-18
可以这样记忆：Checkpoint 是 Flink 内部自动创建的用于恢复故障的状态备份，Savepoint 则是由用户手动创建的用于备份和迁移作业状态的镜像。Checkpoint 生命周期由 Flink 管理，而 Savepoint 由用户掌控。Savepoint...
SavePoint Savepoint 作为实时任务的全局镜像，其在底层使用的代码和Checkpoint的代码是一样的 Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像； Checkpoint 的主要目的是为意外失败的作业提供恢复机制(如 tm/jm 进程挂了)。 Checkpoint 的生命周期由 Flink 管理，即 Flink 创建，管理和删除 Checkpoint - 无需用户交 互。 Savepoint 由用户创建，拥有和删除。 他们的用例是计划的，手动备份和恢复。 Savepoint 应用场景，升级 Flink 版本，调整用户逻辑，改变并行度，以及进行红蓝部署等。 Savepoint 更多地关注可移植性 Savepoint触发方式触发方式目前有三种 使用 flink savepoint 命令触发 Savepoint,其是在程序运行期间触发 savepoint。 使用 flink cancel -s 命令，取消作业时，并触发 Savepoint。 使用 Rest API 触发 Savepoint，格式为：*/jobs/:jobid /savepoints* Savepoint注意点 由于 Savepoint 是程序的全局状态，对于某些状态很大的实时任务，当我们触发 Savepoint，可能会对运行着的实时任务产生影响，个人建议如果对于状态过大的实时任务， 触发 Savepoint 的时间，不要太过频繁。根据状态的大小，适当的设置触发时间。 当我们从 Savepoint 进行恢复时，需要检查这次 Savepoint 目录文件是否可用。可能存在你 上次触发 Savepoint 没有成功，导致 HDFS 目录上面 Savepoint 文件不可用或者缺少数据文 件等，这种情况下，如果在指定损坏的 Savepoint 的状态目录进行状态恢复，任务会启动不 起来。。。。怎么记忆。。。
05-18
Checkpoint 主要是为了提供作业意外失败时的恢复机制，而 Savepoint 则更多地关注程序的可移植性，可以用于升级 Flink 版本、调整用户逻辑、改变并行度、进行红蓝部署等场景。Savepoint 的触发方式有三种，可以使用 ...
Flink在代码中配置checkpoint
Peanut的博客
04-29 2142
def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment // 设置statebackend，默认保存在内存中;可以设置保存到本地或者HDFS env.setStateBackend(new FsStateBackend("localPath | hdfsPATH
Flink Checkpointing
唤不醒的梦
11-05 497
flink中每个function和operator都可以状态化，具有可状态化的元素，可以再处理数据过程中进行数据存储，参与数据的容错。 启用和配置检查点 flink程序中，默认关闭Checkpointin。如果想启用Checkpointing，可通过StreamExecutionEnvironment.enableCheckpointing(n)，n为毫秒，表示进行checkpoint间隔时间。 (未完待续。。。) ...
Spark 检查点（checkpoint）
热门推荐
03-25 5万+
Checkpointing可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)， 即它可以将数据和元数据保存到检查指向目录中。因此，在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。开发人员可以是来方法来设置检查点。在使用检查点之前，必须使用方法设置检查点目录。所以其实我们的checkpoint主要用于Spark Streaming任务。
checkpointing过程 机制
C_time的博客
08-31 491
checkpointing过程 机制 即secondarynamenode怎么工作的，做什么工作的. NameNode和SecondaryNamenode对fsimage与edits的操作 请大家看完指正！！！ 肯定有不对的地方，感谢！ 个人理解： 1.刚开启服务，namenode主动将edits和fsimage合并。 2.SecondaryNamenode刚开启不做操作，它是namenode的助...
Checkpointing的作用，设置
weixin_42238112的博客
11-15 336
Checkpointing 已经作为“torch.utils.checkpoint.checkpoint_wrapper"API的一部分实现，通过该API可以包装前向过程中的不同模块。Checkpointing 通过重写“torch.autograd.Function"来实现。在处理模块前向传递的“forward"函数中，如果使用“no_grad"，我们可以在很长一段时间内（即直到反向传播之前）防止正向图的创建和中间激活张量的物化（？什么意思？。
flink checkpoint配置整理
路过君的博客
05-31 1990
版本 flink 1.14.4 代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 启用 checkpoint,设置触发间隔（两次执行开始时间间隔） env.enableCheckpointing(3000); // 模式支持EXACTLY_ONCE()/AT_LEAST_ONCE() env.getCheckpointConfig().setCheckpointingMo
flinkcdc 3.0 尝鲜
Antg的博客
01-21 3054
flinkcdc3.0 从环境搭建到demo全流程体验
Spark Checkpointing 错误恢复
wangfengjunaaa的专栏
09-26 1034
Checkpointing（检查点）A streaming application must operate 24/7 and hence must be resilient to failures unrelated to the application logic (e.g., system failures, JVM crashes, etc.). For this to be possibl
【Flink】Flink 新一代流计算和容错 Unaligned Checkpoint、快速Checkpoint、更小的Checkpoint
九师兄
08-15 747
仅供自我学习，里面的三个检查点相关的，我觉得很重要很清晰，记录一下，防止找不到了。摘要：本文整理自 Apache Flink 引擎架构师、阿里巴巴存储引擎团队负责人梅源在 Flink Forward Asia 2021 核心技术专场的演讲。本次演讲内容围绕 Flink 的高可用性探讨 Flink 新一代流计算的核心问题和技术选型，包括：Flink 高可用流计算的关键路径容错 (Fault Tolerance) 2.0 及关键问题数据恢复过程稳定快速高效的 Checkpointing。......
Flink借助Kafka实现端到端精准一次_flink 如何保障数据一致性
2401_84164672的博客
04-12 2732
那么在检查点保存的时候，系统故障，保存检查点失败，那么恢复检查点的时候，恢复的是上次成功保存检查点的数据偏移量，如果不对新数据进行保护，可能就会把之前有可能。
flink-checkpoint
zhangkai0575的博客
12-19 403
Checkpoint Flink 容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的checkpoint 是通过分布式快照实现的,所以在flink中这两个词是一个意思。 checkpoint机制需要一个可靠的可以回放数据的数据源(kafka,RabbitMQ,HDFS…)和一个存放state的持久存储（HDFS,S3…）。 1，checkpointConfig 通过调用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值