大数据_Flink_Java版_容错机制(1)-检查点概念---Flink工作笔记0070

最新推荐文章于 2022-10-10 20:07:00 发布
最新推荐文章于 2022-10-10 20:07:00 发布
阅读量276 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 测试&部署&运维实施 文章标签： flink 大数据 big data 架构
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/123654490
本文介绍了Flink的检查点概念，重点在于理解检查点需要保存的是计算完成的数据状态，例如在处理1234567数据时，偶数和奇数的累加结果。在检查点时，会存储如sum_even为6（2+4），sum_odd为9（1+3+5）的状态，并在source端记录数据5的偏移量，以便于故障恢复时从5开始继续处理。这一过程由JobManager协调完成。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们再来看,检查点的概念,这里主要有上面几点

要知道比如上面,处理数据,1234567数据,even是偶数,odd是奇数.

这里检查点要存的,不能存储计算的中间状态,他要存,比如某个数据计算完的一个状态,

正好是处理完某个数据的,状态,比如,数据5,在sum_even这里正好计算出2+4 = 6来.

然后sum_odd正好计算出:1+3+5 = 9来...这样的状态,并且存的时候,这个时候虽然5已经计算完了,但是也会在source端存一下,5 这个偏移量对吧,下次,要从5这个数据,开始恢复对吧.

这个过程可以看到是由jobManager来完成的.

Flink 异常 - 11.单台 Container 内存异常增加导致 Container 被 kill 排查
BITDDD小栈
10-24 2025
Flink running beyond physical memory limits Container 被 kill 问题分析与排查。
大数据_Flink_Java版_容错机制(4)-检查点具体算法---Flink工作笔记0073
添柴程序猿的专栏
03-25 444
然后我们来看看,检查点的算法是具体怎么实现的,可以看到上面: 有两条流过来了,数据都是1,2,3,4,5,6,7...做了个加和操作,可以看到,蓝流,这里,上面是 sum_even是偶数加和,可以看到蓝流的2,流到sum_even以后,输出了一个黄2这个结果对吧, 然后再看奇数sum_odd这里,可以看到后面有个2,这个2肯定是 1 + 1实现的对吧, 也就是,一个蓝1+一个黄1 就是2对吧.然后后面有个黄5,可以看到,这个肯定是,得到的, 蓝2这里又加了个过来的黄3对吧就是5 了. 可以看..
Flink on Yarn 出现 running beyond the ‘PHYSICAL‘ memory limit. 错误解决办法
Bugs那些事儿
08-13 4087
按照网上说的，这是因为hadoop集群资源不足造成的。 并且多数情况是由于分配的虚拟内存超出限制。 根据分析，Flink应用确实存在大量的缓存数据，而设置的taskmanager内存只有2G，当程序运行一段时间后就会出现以下类似错误： Diagnostics: Container [pid=6386,containerID=container_1521277661809_0006_01_000001] is running beyond virtual memory limits. Current u
【工作笔记】- Hadoop Yarn异常“Container is running beyond physical memory limit” 解决
马路上开飞机
09-01 818
Yarn容器运行一段时间以后出现“Container is running beyond physical memory limit”的报错，容器被kill掉，任务失败。 出现此错误时， 修改yarn-site.xml文件，添加两个配置： <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> &
flink优化专题-07-常见故障排除
q287573145的博客
04-03 2843
1、非法配置异常 如果您看到从 TaskExecutorProcessUtils 或 JobManagerProcessUtils 抛出的 IllegalConfigurationException，通常表明存在无效的配置值（例如负内存大小、大于 1 的 分数等） 或配置冲突。请重新配置内存参数。 2 、Java 堆空间异常 如果报 OutOfMemoryError: Java heap space 异常，通常表示 JVM Heap 太小。 可以尝试通过增加总内存来增加 JVM 堆大小。也可
flink sql - 问题系列与解决系列
a123147abc的博客
11-30 7304
flink sql 调试-注意点1、布尔类型的坑2、cdc 表[kafka/pg等]，要写对表主键，特别是flink sql 有group by 的情况 1、布尔类型的坑 数据库 deleted = 'false' , flink sql 要替换为 deleted is false 2、cdc 表[kafka/pg等]，要写对表主键，特别是flink sql 有group by 的情况 现象：a 表主键是三个字段的联合主键[PRIMARY KEY (id,parent_id,entity_farm_
大数据_Flink_Java版_容错机制(3)-检查点算法思路和Barrier---Flink工作笔记0072
添柴程序猿的专栏
03-28 373
然后我们再来细看一下: flink是怎么实现,检查点的保存的呢? 我们有两种方式,第一种简单的方式,我要想保存一个检查点的时候,我等某个数据处理完,然后 把这个处理完的数据保存成一个检查点,这个数据处理的时候,我要暂停其他的所有的应用,等待 这个数据处理完,这个方式,可以看到简单,但是效率很低. 在flink中有一种,可以看到叫做基于Chandy-Lamport算法的,分布式快照,这个就可以 让taskmanager不停止工作的同时来保存检查点.并且可以保证一致性. 我们看一下...
大数据_Flink_Java版_容错机制(5)-保存点---Flink工作笔记0074
添柴程序猿的专栏
03-24 366
然后我们再来看保存点,可以这样理解,保存点是手动的保存,检查点,这个是flink,会自动的隔一段时间就会自动的去保存.而保存点不会,他需要我们手动的去保存,他有强大的功能, 比如:手动备份不用说了. 然后这个更新应用程序,比如当我们的程序更新了,我们需要把之前所有的数据都重新跑一遍吗? 不需要对吧,我们一般都是更新前设置一个保存点,更新后,从这个保存点开始执行就可以了. 然后版本迁移,如果升级了flink的版本以后,也是,升级之前做个保存点,升级以后,然后不用把所有 数据都跑一遍了,只从保存点..
大数据_Flink_Java版_容错机制(2)-从检查点做故障恢复---Flink工作笔记0071
添柴程序猿的专栏
03-25 462
然后我们上一节可以看到上面说了,如何保存检查点,其实主要就是保存,某个数据处理完的状态,并且 source要记录,处理完的那个数据的偏移量对吧,比如,上面这个检查点: 1 2 3 4 5 6 7 这些数据,现在处理到5了,那么,对于偶数:2+4 = 6 然后对于奇数:1+3+5 = 9可以看到现在 5已经处理完了,但是在source要记录 处理完的数据的偏移量也就是5,下一次,开始从6输入数据对吧. 然后就是恢复数据,我们看如何从检查点恢复数据,可以看到现在 1 2 3 4 ...
Apache Flink 在小米的稳定性优化和实践
Ververica的博客
09-15 810
小米大数据部高级软件工程师张蛟在 FFA 2021 的演讲。
Flink：Container is running beyond virtual memory limits
moewifj的博客
04-11 1966
问题描述： 以Yarn模式启动Flink时提示：The Flink Yarn cluster has failed. 详细错误信息为：Container [] is running beyond virtual memory limits. Current Usage: 200MB of 1GB physical memory used; 2.6GB of 2.1GB virtual memo...
空0014
热门推荐
Direction_Wind的博客
02-28 1万+
14。
Flink使用Rocksdb状态后端任务运行一段时间后挂掉
一个不安分的程序员
04-11 3172
问题描述： 由于需要存储大量状态信息，在使用Flink Sql开发实时计算作业时配置RocksDB做为状态后端， 任务起初运行良好，运行一段时间后有任务偶发性出现失败，（使用yarn logs -applicaitonId）查看作业日志发现以下异常信息： org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Connection unexpectedly closed by remote task m
Flink：从业务实践角度聊聊状态缓存和内存管理
maoyuanming0806的博客
01-05 3818
本文就是记录些实践结论，不会做深入原理和源码级说明，因为这些，不如去看源码和官方文档，至少官方文档介绍的非常详细，比某些博文缺胳膊少腿、粘贴复制强多了，据我所知，市场上很多关于Flink的参考书大多直接翻译的官方文档 官方文档链接附上：https://www.bookstack.cn/read/flink-1.11.1-zh/collapse-2 如上是中文翻译版的文档，也有英文版选择和不同版本选择，自行选用 本文基于Flink V1.11 文章目录Flink状态缓存StateFlink状态缓存Flin.
java.lang.OutOfMemoryError: Java heap space解决方案
一直奔跑的马
09-23 4492
项目场景： 本地向kafka中生产数据，flink程序分流处理时，报错java.lang.OutOfMemoryError: Java heap space 问题描述： 本地向kafka中生产数据，flink程序分流处理时，在某个tag下进行数据封装时，一直报错java.lang.OutOfMemoryError: Java heap space，根据报错信息发现是在从数据库中查询数据时导致内内存溢出，在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息
Flink1.12.4 RocksDBStateBackend优化
程序园@大Null
06-09 3013
在使用RocksDB作为state存储之后，发现性能被严重影响，吞吐能力下降了几倍不止，所以根据网上的几篇调优文档做了自己的优化，感谢下面这些博客做出的贡献： https://www.jianshu.com/p/2e61c2c83c57 https://blog.youkuaiyun.com/wangshuo2019/article/details/107250801/ https://blog.youkuaiyun.com/huang358468/article/details/115221066 https://github.
第三章 Flink基础理论之内存优化及常见内存报错解决方案
qq_27924553的博客
10-10 3182
Flink基础理论之内存优化及常见内存报错解决方案
详解linux虚拟空间以及具体扩展方法
熊猫小妖的AI世界
10-20 791
目录1.前言：2.什么是虚拟空间3.怎么增加、更改虚拟空间3.0 查看物理内存空间和具体配置3.1.增加多大3.2 具体增加过程Reference 1.前言： 因为很多嵌入式设备或者购买的服务器，物理内存有限，所以，想要通过增加虚拟内存空间提高系统运行性能和效果。下面详解一下具体过程。 2.什么是虚拟空间 背景介绍 　　Memory指机器物理内存，读写速度低于CPU一个量级，但是高于磁盘不止一个量级。所以，程序和数据如果在内存的话，会有非常快的读写速度。但是，内存的造价是要高于磁盘的，且内存的断电丢失数据也
大数据工程师必备：Flink技术实战源码笔记免费下载
6. 容错性：Flink 的容错机制包括检查点（Checkpoint）和状态快照技术，可以保证在发生故障时快速恢复，保证了处理的可靠性。 7. 可扩展性：Flink 支持自动或者手动的水平扩展，可以根据数据处理的需求动态地调整...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值