Apache Flink 1.15 Checkpoint最新架构设计（官网转载）

已于 2023-08-10 11:29:51 修改
阅读量525 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： flink 大数据 big data
于 2022-06-01 16:20:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Direction_Wind/article/details/125085231
Apache Flink 1.15引入了Generic Log-Based Incremental Checkpointing，旨在减少端到端延迟、提高Checkpoint稳定性和减少容错恢复的数据量。通过持续上传状态增量Changelog，该机制降低了Checkpoint时间，提升了系统性能。设计中包括独立的State Changelog存储（DSTL），并以DFS实现，以实现短期持久化、高写入频率和一致性保证。尽管引入了额外的存储开销，但通过更频繁的Checkpoint，可以减少容错恢复的数据量。

Apache Flink 1.15 Checkpoint最新架构设计

1.概述

在这里插入图片描述

流处理系统最重要的特性是端到端的延迟，端到端延迟是指开始处理输入数据到输出该数据产生的结果所需的时间。Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将 Checkpoint 做得高效稳定是 Flink 流计算的首要任务。我们在 “Flink 新一代流计算和容错——阶段总结和展望”[1] 一文中介绍了 Flink 从社区 1.12 版本开始所做的提升 Checkpointing 机制的努力，本文将着重介绍其中刚刚在 Flink 1.15 版本发布的 Generic Log-Based Incremental Checkpointing 这个功能。

Generic Log-Based Incremental Checkpointing 的设计初衷是我们将全量的状态快照和增量的检查点机制分隔开，通过持续上传增量 Changelog 的方法，来确保每次 Checkpointing 可以稳定快速的完成，从而减小 Checkpointing 之间的间隔，提升 Flink系统端到端的延迟。拓展开来说，主要有如下三点提升：

  1. 更短的端到端延迟：尤其是对于 Transactional Sink。Transactional Sink 在 Checkpoint 完成的时候才能完成两阶段提交，因此减小 Checkpointing 的间隔意味着
了解本专栏 订阅专栏 解锁全文 超级会员免费看
精选资源
flink 安装包 1.15.2(flink-1.15.2-bin-scala_2.12 .tgz)
10-08
2. **下载与解压**：从 Apache 官方网站或者镜像站点下载 flink-1.15.2-bin-scala_2.12.tgz 文件。下载完成后，使用解压工具将其解压到你希望的目录，例如 `~/flink-1.15.2`。 3. **配置 Flink**：进入解压后的目录...
Flink Checkpoint 中的通用增量Checkpoint
枪枪枪的博客
02-16 716
通用增量Checkpoint
Flink 基于Log 的增量Checkpoint
张普的专栏
05-28 1028
作者｜梅源（Yuan Mei）& Roman Khachatryan流处理系统最重要的特性是端到端的延迟，端到端延迟是指开始处理输入数据到输出该数据产生的结果所需的时间。Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将 Checkpoint 做得高效稳定是 Flink 流计算的首要任务。我们...
Flink（四十）—— Apache Flink 管理大型状态之增量 Checkpoint 详解
weixin_42073629的博客
10-21 1850
Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。状态在流计算很多复杂场景中非常重要，比如： 保存所有历史记录，用来寻找某种记录模式 保存最近一分钟的所有记录，用于对每分钟的记录进行聚合统计 保存当前的模型参数，用于进行模型训练 有状态的流计算框架必须有很好的容错性，才能在生产环境中发挥用处。这里的容错性是指，不管是发生硬件故障，还是程序异常，最终的结果不丢也不重。 Flink 的容错性从一开始就是一个非常强大的特性，
Apache Flink 管理大型状态之增量 Checkpoint 详解
http://www.54tianzhisheng.cn/
11-05 1665
邱从贤（山智），Apache Flink Contributor，中南大学硕士，2018 年加入阿里巴巴计算平台事业部，专注于 Flink 核心引擎开发，主要从事 Flink State&Checkpoint 相关研发工作。作者：Stefan Ricther & Chris Ward翻译：邱从贤（山智）Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过...
Flink 增量式checkpoint 介绍
weixin_33726318的博客
11-08 3045
2019独角兽企业重金招聘Python工程师标准>>> ...
Apache Flink 1.15正式发布
m0_65909361的博客
01-19 1254
Flink 核心概念之一是流 (无界数据) 批 (有界数据) 一体。流批一体极大的降低了流批融合作业的开发复杂度。在过去的几个版本中，Flink 流批一体逐渐成熟，Flink 1.15 版本中流批一体更加完善，后面我们也将继续推动这一方向的进展。目前大数据处理的一个趋势是越来越多的业务和场景采用低代码的方式进行数据分析，而 Flink SQL则是这种低代码方式数据分析的典型代表。越来越多的用户开始采用 Flink SQL 来实现他们的业务，这也是 Flink 用户和生态快速增长的重要原因之一。
flink使用s3协议作为checkpoint配置
qq_18379607的博客
12-20 1456
【代码】flink使用s3协议作为checkpoint配置。
flink读写案例合集
最新发布
努力工作学习的程序员
08-21 682
提示：这里主要总结在工作中使用到的和遇到到的问题：Java flink版本1.15+} }} }} }} }} }} }import org} }} }} }} }} }@Override在低版本的flink-connector-kafka中，不支持KafkaSerializationSchema。
基于 Log 的通用增量 Checkpoint
阿里云云栖号
06-01 1061
本文将从 Checkpoint 的性能优化历程出发，介绍 ChangelogStateBackend 的基本机制、应用场景和未来规划，同时介绍最新版本在 State 上的一些优化工作。
Flink增量Checkpoint实验
微电子学与固体电子学-俞驰
10-01 2875
根据[1]: '''这里面的核心就是 checkpoint 机制，Flink 使用 checkpoint 机制来进行状态保证，在 Flink 中 checkpoint 是一个定时触发的全局异步快照，并持久化到持久存储系统上（通常是分布式文件系统）。发生故障后，Flink 选择从最近的一个快照进行恢复。有用户的作业状态达到 GB 甚至 TB 级别，对这么大的作业状态做一次 checkpoint 会非常耗时，耗资源，因此我们在 Flink 1.3 中引入了增量 checkpoint 机制。 在增量 chec
Flink checkpoint操作流程详解与报错调试方法汇总，增量checkpoint原理及版本更新变化，作业恢复和扩缩容原理与优化
Direction_Wind的博客
02-20 3522
第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。
Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint
Ververica的博客
05-26 2013
Generic Log-Based Incremental Checkpointing 功能介绍
Flink 管理大型状态之增量 Checkpoint
SmartSi
09-24 476
Apache Flink 是一个有状态的流处理框架。什么是流处理应用程序的状态呢？你可以理解状态为应用程序算子中的内存。但是，有状态的流处理仅在状态可以容错的情况下才建议在生产环境中使用。这里的容错是指即使出现软件或机器故障，计算的最终结果也是准确的，不会出现丢失数据或重复计算的情况。Flink 的容错一直是一个功能强大的特性，可以最大限度地减少软件或机器故障对我们业务带来的影响，并可以保证 Flink 应用程序结果的 Exactly-Once 语义。
flink全量检查点和增量检查点
weixin_43816721的博客
11-28 1075
flink的checkpoint知识点
基于 Log 的通用增量 Checkpoint​
Ververica的博客
01-05 858
摘要：本文整理自Apache Flink Contributor俞航翔9 月 24 日在 Apache Flink Meetup 的分享。主要内容包括：Checkpoint 性能优化之路解析 Changelog一览State/Checkpoint 优化Tips：点击「阅读原文」查看原文视频&演讲 ppt 01Checkpoint 性能优化之路Flink 作为一个 ...
高效稳定的通用增量 Checkpoint 详解：Flink 性能分析评估
MfvShell的博客
09-18 272
通过启用增量 Checkpoint 并使用 CheckpointStatsTracker 来收集和分析 Checkpoint 的统计信息，我们可以了解 Checkpoint 的效率并进行性能优化。通过以上的性能分析评估，我们可以得到 Flink 中增量 Checkpoint 的统计信息，并根据这些信息进行性能分析和优化。我们可以根据 Checkpoint 的持续时间、状态大小等指标来评估 Checkpoint 的效率，并根据需要调整 Flink 的配置参数来优化 Checkpoint 的性能。
【Flink】高效稳定的通用增量 Checkpoint 详解之二：性能分析评估
九师兄
02-26 275
开启通用增量 Checkpoint 可以显著提高 Checkpoint 的完成速度和稳定性，并以可控的性能与资源开销为作业提供更低的端到端延迟、更少的数据回追和更平稳的资源消耗。在 Flink 1.16 后，通用增量 Checkpoint 已经达到了生产可用的状态。后续版本中，在实现机制上，我们将重点关注其他可用的 DSTL 存储组件，如 Apache Bookkeeper，来实现更短的延迟；
浅谈Flink基于RocksDB的增量检查点机制
LittleMagic's Blog
10-07 3944
Flink之所以能够做到高效而准确的有状态流式处理，核心是依赖于检查点（checkpoint）机制。当流式程序运行出现异常时，能够从最近的一个检查点恢复，从而最大限度地保证数据不丢失也不重复。 Flink检查点本质上是通过异步屏障快照（asychronous barrier snapshot, ABS）算法产生的全局状态快照，一般是存储在分布式文件系统（如HDFS）上。但是，如果状...
flink1.15 sink cassandra 二阶段提交怎么设置？
03-30
Apache Flink 1.15 版本中，Cassandra Sink 支持将数据写入 Cassandra 数据库，并且支持两阶段提交。在 Flink 中，两阶段提交是通过使用 Flink 内置的事务管理器来实现的。下面是在 Flink 中配置 Cassandra Sink 二阶段提交的步骤： 1. 创建 CassandraSinkBuilder 对象： ``` CassandraSinkBuilder<Tuple2<String, Integer>> builder = CassandraSink.addSink(env.fromElements(Tuple2.of("A", 1))) .setClusterBuilder(new ClusterBuilder() { @Override public Cluster buildCluster(Cluster.Builder builder) { return builder.addContactPoint("127.0.0.1").withPort(9042).build(); } }) .setMapper(new MapTuple2ToRow()) .setOutputType(new CassandraSinkOutputType<Tuple2<String, Integer>>()); ``` 2. 配置事务管理器： ``` builder.setPendingCommitProvider(new TransactionalRequestAwareProvider()); ``` 3. 配置 Checkpoint 和重启策略： ``` env.enableCheckpointing(1000); env.setRestartStrategy(RestartStrategies.fixedDelayRestart( 3, Time.seconds(5) )); ``` 4. 执行数据写入操作： ``` builder.build().name("Cassandra Sink").setParallelism(1); ``` 在上述代码中，`setPendingCommitProvider` 方法用于配置事务管理器，`enableCheckpointing` 方法用于配置 Checkpoint，`setRestartStrategy` 方法用于配置重启策略。最后，`build` 方法用于创建 Cassandra Sink，`setParallelism` 方法用于设置并行度。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Direction_Wind

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值