flink检查点算法的总结（粗略）

最新推荐文章于 2024-08-28 13:12:50 发布

原创最新推荐文章于 2024-08-28 13:12:50 发布 · 361 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

本文介绍了Flink1.11中的两种任务对齐策略——精确一次的Barrier对齐，任务在接收到所有相同编号的Barrier后备份状态；以及非阻塞的非Barrier对齐，任务在接收到第一个Barrier就执行备份，确保数据处理的高效性。

1.Barrier对齐：一个task 收到所有上游的同一个编号的Barrier之后，才会对自己的状态做备份

精准一次：在对齐过程中Barrier后面的数据阻塞等待（不会越过Barrier）

至少一次：在对齐过程中Barrier后面的数据不阻塞直接越过Barrier进行计算

2.非Barrier对齐：一个task 收到第一个Barrier时，就开始执行备份，能保证精准一次

flink1.11出的新算法

先到的Barrier，将本地状态备份，其后面的数据接着计算输出

未到的Barrier，其前面的数据接着计算输出，同时也保存到备份中

最后一个Barrier到达该task时，这个task的备份结束

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

bigdataing

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

flink实战--flink原理解析

阿华田的博客

09-30

2万+

Flink出现的背景我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............

【硬刚大数据】2021年从零到大数据专家之Kudu篇

微信搜：import_bigdata，大数据领域硬核原创作者

08-14

854

欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 2021.

参与评论您还未登录，请先登录后发表或查看评论

Flink-关于barrier对齐/不对齐，及实现

weixin_36857135的博客

09-06

3186

Flink1.11版本提供不对齐的检查点保存方式，可以将未处理的缓冲数据也保存进检查点。这样遇到分区barrier时就不需要等待对齐，而是可以直接启动状态的保存。Flink默认是禁用检查点的，如果需要开启自动保存快照的功能，需要在代码中调用执行环境的enableCheckpointing()方法,参数毫秒。：等到上游所有的并行子分区barrier都到齐，才去保存当前任务的状态。缺点：先到达的分区要做缓存等待，会造成数据数据堆积（背压）缺点：每个检查点较对齐方式需要保存更多信息，即未处理的数据。

Flink容错机制

m0_57697768的博客

06-18

2064

Flink数据传输状态一致性，Checkpoint的设置，数据容错机制

flink-对齐和不对齐，精准一次和至少一次

qq_40382400的博客

08-12

2017

精准一次怎么保证？可以设置为以下2个对齐当有一个barrier比较快时，输入缓冲区阻塞，当另外一个barrier到来时，才进行备份，所以数据不会重复。优点：不会造成数据重复缺点：会造成数据积压，OOM 不对齐当有一个barrier到来时，直接将barrier置到最后，然后将所有缓冲区的数据和状态进行备份，然后将kafka提交，然后将慢的barrier也置到最后，将所有缓冲区的数据和状态进行备份，然后将kafka提交。优点：加快了ck 缺点：由于备份了大

Flink 的 Checkpoint配置详解

猫猫爱吃小鱼粮

09-18

2325

Flink 的 Checkpoint 配置详解

Flink面试题

qq_34936033的博客

05-17

5944

关于spark和flink我可能会问这20个问题,当然并不是说简单回答一下就可以了,每一个题都可以引申很多问题,拿第一个问题来说,里面还有很多东西,比如spark的依赖关系是存在什么地方?RDD的宽窄依赖划分等? 因为你如果什么问题都问,问三天三夜都问不完,所以一定有针对性,而且后面一定会有模拟场景现场编程的问题,因为上面的问题都是偏原理的,你不会你也可以背下来,但是编程就考验你的真实水平了,比如给你一个实时计算的场景,让你写出主要的代码实现.这也是为什么我在星球里面很少分享原理性的东西,更多的怎么解决真实

Hadoop、Spark、Flink、Kafka

weixin_43497124的博客

03-29

4084

一、Hadoop Hadoop是一套大数据计数组件，三大核心组件： ① HDFS：Hadoop分布式文件系统。解决分布式系统的文件存储问题，本质是提供一套跨机器的文件管理服务。 ② MapReduce：Hadoop的分布式运算程序编程框架 ③ Yarn：Hadoop的分布式运算资源调度系统。解决分布式运算程序的启动、资源调度和资源回收。 Hadoop外围组件： ① Hive：基于HDFS和MapReduce的sql工具 ...

开源运维监控系统-Nightingale（夜莺）应用实践

企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com

11-27

4832

某业务系统因OS改造，原先的Zabbix监控系统推倒后未重建，本来计划用外部企业内其他监控系统接入，后又通知需要自建才能对接，考虑之前zabbix的一些不便，本次计划采用一个类Prometheus的监控系统，镜调研后发现Nightingale兼容Prometheus，又有一些其他功能增强，又在一些大的企业经过较大规模部署实践，故本次采用Nightingale作为监控系统来进行重建。

[转贴]利用伪造内核文件来绕过IceSword的检测

享受开发，颠倒银河

09-16

2340

[转贴]利用伪造内核文件来绕过IceSword的检测作者：倪茂志邮件：backspray008@gmail.com完成于：2005.12.20文章分为八个部分：  一、为什么需要伪造内核  二、伪造内核文件  三、隐藏进程  四、隐藏内核模块  五、隐藏服务  六、隐藏注册表  七、隐藏文件

flink面试题

xing_S的博客

02-06

494

flink面试题

flink学习-容错机制

taotaobujuerulv的博客

06-13

661

在flink中最重要的容错机制，就是checkpoint机制，使用checkpoint可以将之前某个时间点的所有的状态进行保存，这个存档就是checkpoint。

【Flink】容错机制

lxtx

12-03

1340

目录1、检查点编辑1.1 检查点的保存1.1.1 周期性的触发保存1.1.2 保存的时间点1.1.3 时间点的保存与恢复1.1.3.1保存编辑1.1.3.2 恢复的具体步骤：1.2 检查点算法1.2.1 检查点分界线（Barrier）1.2.2 分布式快照算法（Barrier对齐的精准一次）1.2.3 分布式快照算法（Barrier对齐的至少一次）1.2.4 分布式快照算法（非Barrier对齐的精准一次）1.3检查点配置1.3.1启用检查点 1.3.2检查点存储1.3.3其它高级配置1.3.3.1常

Flink中Barrier对齐机制

qq_42009405的博客

02-10

8480

Barrier对齐机制以及Unaligned Checkpoints详解

Flink（十二）【容错机制】

功不唐捐，玉汝于成

01-13

1990

Flink 容错机制

Flink（六十五）—— Flink 1.11 新特性详解:【非对齐】Unaligned Checkpoint 优化高反压

weixin_42073629的博客

10-23

815

问题导读 1.Barrier 对齐会造成什么问题？ 2.Barrier 对齐是否会造成反压？ 3.如何理解Unaligned Checkpoint ？作为 Flink 最基础也是最关键的容错机制，Checkpoint 快照机制很好地保证了 Flink 应用从异常状态恢复后的数据准确性。同时 Checkpoint 相关的 metrics 也是诊断 Flink 应用健康状态最为重要的指标，成功且耗时较短的 Checkpoint 表明作业运行状况良好，没有异常或反压。然而，由于 Checkpoint 与反压的耦

什么是Flink的非barrier对齐，如何使用？

zjjcchina的博客

06-15

903

拥有两个输入流的 operators（例如 CoProcessFunction）会执行 barrier 对齐（barrier alignment），以便当前快照能够包含两个输入流 barrier 之前（但不超过）的所有 events 产生的状态。字母流的 barrier n 前面的数据（abcd）会被保存到状态里面，直到 barrier n 到来以后，再进行checkpoint，将数据保存到检查点中。加剧作业的反压（当出现反压时，数据本身就处理不过来，此时某条流的数据又阻塞了，所以就会加剧反压）。

flink checkpoint流程-如何保证flink框架内部精准一次

最新发布

cheng_jing_2022的博客

08-28

510

@TOCflink checkpointcheckpoint：将算子的状态数据持久化。1 jobmanager 调度器定时向taskmanager发送checkpoint指令，taskmanager在source中发出一条barrier数据，并将此时的offset进行checkpoint。 2 barrier向下游任务传递，接收到barrier之后，任务将进行checkpoint，直到所有任务完成checkpoint，一次完整的checkpoint就算完成了。 3 这样可以保证barrier之前的数据走完所

Flink之状态管理--容错--检查点

yumingzhu1的博客

08-17

491

有状态的分布式流式处理流式处理流式处理简单地说就是一个无穷尽的数据源在持续的收数据，以代码作为数据处理的基础逻辑，然后输出，这就是流式处理的基本原理。分布式流式处理 Stream需要做分区，设置相同的Key，并让同样的Key流到一个computition instance做相同的运算。有状态分布式流式处理代码中定义了变量X，X在数据处理过程会进行读写操作，变量X会影响最后的结果输出。比如计算每个使用者出现的次数，次数即所谓的状态。 Checkpointing 作..

flink检查点算法

07-27

Flink的检查点算法是用于实现容错机制的关键部分。Flink使用了一种称为"异步增量检查点"的算法，该算法在保证数据一致性的同时，尽量减少对流处理的影响。具体来说，Flink的检查点算法会定期生成检查点，以保存应用程序的状态。生成检查点的过程包括以下几个步骤： 1. 将数据流暂停：Flink会暂停数据源的输入，确保在生成检查点期间不会有新的数据写入。 2. 快照状态：Flink会将应用程序的状态（包括算子的状态和流的状态）进行快照，保存到持久化存储中。这样可以保证在发生故障时可以恢复应用程序到之前的状态。 3. 持久化元数据：Flink会将生成检查点所需的元数据（如快照版本号、状态大小等）持久化到存储系统中，以便在故障恢复时使用。 4. 恢复数据流：生成检查点完成后，Flink会恢复数据流的输入，并继续处理新的数据。通过使用异步增量检查点算法，Flink可以在生成检查点时继续处理新的数据，而不需要等待所有数据处理完成。这样可以减少对流处理性能的影响，并提高应用程序的吞吐量和响应时间。需要注意的是，Flink的检查点算法是可配置的，可以根据应用程序的需求进行调整。例如，可以配置生成检查点的频率、并发度等参数来平衡容错性和性能。