高效稳定的通用增量 Checkpoint 详解：Flink 性能分析评估

最新推荐文章于 2024-06-22 13:26:48 发布

MfvShell

最新推荐文章于 2024-06-22 13:26:48 发布

阅读量268

点赞数

CC 4.0 BY-SA版权

文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/MfvShell/article/details/132985428

Flink 专栏收录该内容

64 篇文章 ¥59.90 ¥99.00

订阅专栏

本文深入探讨Apache Flink的增量Checkpoint机制，通过设置和启用增量Checkpoint，结合Flink的性能分析工具CheckpointStatsTracker，评估其在容错和恢复中的效率。文章提供了源代码示例，展示如何收集和分析Checkpoint统计信息，以便进行性能优化。

Apache Flink 是一个流式处理框架，具有高吞吐量、低延迟和容错性的特点。在 Flink 中，Checkpoint 是一种用于容错和恢复的机制，可以将流式应用程序的状态保存到持久化存储中。增量 Checkpoint 是一种优化技术，它只保存应用程序自上次 Checkpoint 以来更改的状态，从而提高 Checkpoint 的效率。本文将详细介绍如何评估 Flink 中增量 Checkpoint 的性能，并附上相应的源代码。

首先，我们需要设置 Flink 应用程序以启用增量 Checkpoint。在 Flink 的作业配置文件中，我们可以使用以下代码启用增量 Checkpoint：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MfvShell

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

【Flink】高效稳定的通用增量 Checkpoint 详解之二：性能分析评估

九师兄

02-26

269

开启通用增量 Checkpoint 可以显著提高 Checkpoint 的完成速度和稳定性，并以可控的性能与资源开销为作业提供更低的端到端延迟、更少的数据回追和更平稳的资源消耗。在 Flink 1.16 后，通用增量 Checkpoint 已经达到了生产可用的状态。后续版本中，在实现机制上，我们将重点关注其他可用的 DSTL 存储组件，如 Apache Bookkeeper，来实现更短的延迟；

Flink Checkpoint 中的通用增量Checkpoint

枪枪枪的博客

02-16

714

通用增量Checkpoint

参与评论您还未登录，请先登录后发表或查看评论

Flink 基于Log 的增量Checkpoint

张普的专栏

05-28

1019

作者｜梅源（Yuan Mei）& Roman Khachatryan流处理系统最重要的特性是端到端的延迟，端到端延迟是指开始处理输入数据到输出该数据产生的结果所需的时间。Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将 Checkpoint 做得高效稳定是 Flink 流计算的首要任务。我们...

高效稳定的通用增量 Checkpoint 详解之二：性能分析评估

Ververica的博客

03-14

483

本文将从理论和实验两个部分详细论述通用增量 Checkpoint 的收益与开销，并分析其适用场景。

Apache Flink 管理大型状态之增量 Checkpoint 详解

http://www.54tianzhisheng.cn/

11-05

1661

邱从贤（山智），Apache Flink Contributor，中南大学硕士，2018 年加入阿里巴巴计算平台事业部，专注于 Flink 核心引擎开发，主要从事 Flink State&Checkpoint 相关研发工作。作者：Stefan Ricther & Chris Ward翻译：邱从贤（山智）Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过...

Flink增量Checkpoint实验

微电子学与固体电子学-俞驰

10-01

2866

根据[1]: '''这里面的核心就是 checkpoint 机制，Flink 使用 checkpoint 机制来进行状态保证，在 Flink 中 checkpoint 是一个定时触发的全局异步快照，并持久化到持久存储系统上（通常是分布式文件系统）。发生故障后，Flink 选择从最近的一个快照进行恢复。有用户的作业状态达到 GB 甚至 TB 级别，对这么大的作业状态做一次 checkpoint 会非常耗时，耗资源，因此我们在 Flink 1.3 中引入了增量 checkpoint 机制。在增量 chec

Flink Checkpoint 详解

阳阳阳的博客

04-08

8908

Flink Aligned Checkpoint和Unaligned Checkpoint原理详解

bigdatakenan的博客

04-18

2985

1.Flink分布式快照流程首先我们来看一下一个简单的Checkpoint的大致流程：暂停处理新流入数据，将新数据缓存起来。将算子子任务的本地状态数据拷贝到一个远程的持久化存储上。继续处理新流入的数据，包括刚才缓存起来的数据。 Flink是在Chandy–Lamport算法[1]的基础上实现的一种分布式快照算法。在介绍Flink的快照详细流程前，我们先要了解一下检查点分界线（Checkpoint Barrier）的概念。如下图所示，Checkpoint Barrier

Flink 增量式checkpoint 介绍

weixin_33726318的博客

11-08

3045

2019独角兽企业重金招聘Python工程师标准>>> ...

Flink（四十）—— Apache Flink 管理大型状态之增量 Checkpoint 详解

weixin_42073629的博客

10-21

1846

Apache Flink 是一个有状态的流计算框架，状态是作业算子中已经处理过的内存状态，供后续处理时使用。状态在流计算很多复杂场景中非常重要，比如：保存所有历史记录，用来寻找某种记录模式保存最近一分钟的所有记录，用于对每分钟的记录进行聚合统计保存当前的模型参数，用于进行模型训练有状态的流计算框架必须有很好的容错性，才能在生产环境中发挥用处。这里的容错性是指，不管是发生硬件故障，还是程序异常，最终的结果不丢也不重。 Flink 的容错性从一开始就是一个非常强大的特性，

Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint

Ververica的博客

05-26

2004

Generic Log-Based Incremental Checkpointing 功能介绍

Flink 管理大型状态之增量 Checkpoint

SmartSi

09-24

474

Apache Flink 是一个有状态的流处理框架。什么是流处理应用程序的状态呢？你可以理解状态为应用程序算子中的内存。但是，有状态的流处理仅在状态可以容错的情况下才建议在生产环境中使用。这里的容错是指即使出现软件或机器故障，计算的最终结果也是准确的，不会出现丢失数据或重复计算的情况。Flink 的容错一直是一个功能强大的特性，可以最大限度地减少软件或机器故障对我们业务带来的影响，并可以保证 Flink 应用程序结果的 Exactly-Once 语义。

Flink checkpoint操作流程详解与报错调试方法汇总，增量checkpoint原理及版本更新变化，作业恢复和扩缩容原理与优化

Direction_Wind的博客

02-20

3506

第一步，Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint；。第二步，source 节点向下游广播 barrier，这个 barrier 就是实现 Chandy-Lamport 分布式快照算法的核心，下游的 task 只有收到所有 input 的 barrier 才会执行相应的 Checkpoint。

flink全量检查点和增量检查点

weixin_43816721的博客

11-28

1070

flink的checkpoint知识点

浅谈Flink基于RocksDB的增量检查点机制

LittleMagic's Blog

10-07

3926

Flink之所以能够做到高效而准确的有状态流式处理，核心是依赖于检查点（checkpoint）机制。当流式程序运行出现异常时，能够从最近的一个检查点恢复，从而最大限度地保证数据不丢失也不重复。 Flink检查点本质上是通过异步屏障快照（asychronous barrier snapshot, ABS）算法产生的全局状态快照，一般是存储在分布式文件系统（如HDFS）上。但是，如果状...

Flink在大规模状态数据集下的checkpoint调优

走在前往架构师的路上

12-26

5493

文章目录前言Checkpoint快慢的性能指标相邻Checkpoint的间隔时间设置外部State的存储选择前言众所周知，Flink内部为了实现它的高可用性，实现了一套强大的checkpoint机制，还能保证作用的Exactly Once的快速恢复。对此，围绕checkpoint过程本身做了很多的工作。在官方文档中，也为用户解释了checkpoint的部分原理以及checkpoint在实际生...

vivado 自动增量检查点