Flink系列：checkpoint调优

最新推荐文章于 2025-11-09 02:15:56 发布
原创 最新推荐文章于 2025-11-09 02:15:56 发布 · 818 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

本文主要介绍了Flink作业checkpoint过大及时间过长的问题，通过分析发现因任务拉取过多配置导致。解决方案是仅保留与任务相关的配置，从而将checkpoint大小从90M降低到200KB，时间从300ms优化至50ms。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】Flink 记录一个 checkpoint 检查点 越来越大的问题
九师兄
01-01 3270
Flink SQL checkpoint越来越大咋么办，从2个G，现在4个G了，增量同步的，窗口是1小时，watermark是6小时，按道理来说，数据量不应该越来越大啊？在窗口内执行了count(distinct )这些操作。设置了状态的ttl。后端状态存储用的rocksdb。状态如下设置了增量的检查点代码设置不一定有效，需要看实际设置成功了没。这里有才说明你设置成功了可能和【Flink系列】- RocksDB增量模式checkpoint大小持续增长的问题及解决。
【Flink】RocksDB增量模式checkpoint大小持续增长的问题及解决
九师兄
06-24 3239
转载：RocksDB增量模式checkpoint大小持续增长的问题及解决Flink版本：1.13.5一个使用FlinkSQL开发的生产线上任务， 使用Tumble Window做聚和统计，并且配置table.exec.state.ttl为7200000，设置checkpoint周期为5分钟，使用rocksdb的增量模式。正常情况下，任务运行一段时间以后，新增和过期的状态达到动态的平衡，随着RocksDB的compaction，checkpoint的大小会在小范围内上下起伏。实际观察到，checkpoint大
Flink Checkpoint 本地磁盘未清除导致的大数据问题
学习使你进步。
08-30 489
然而，如果不及时清除本地磁盘上的过期 Checkpoint 数据，可能会导致磁盘空间的不断占用，最终影响应用程序的正常运行。通过使用 Flink 提供的清理工具，并定期清除本地磁盘上的过期 Checkpoint 数据，我们可以有效地解决这个问题，确保 Flink 应用程序的稳定性和可靠性。方法启用 Checkpoint，并设置 Checkpoint 的时间间隔为每分钟一次。通过定期清除本地磁盘上的过期 Checkpoint 数据，我们可以确保 Flink 应用程序的正常运行，并防止磁盘空间被耗尽。
Flink CheckPoint ： Exceeded checkpoint tolerable failure threshold
lck_csdn的博客
06-09 3590
Flink异步IO查询HBase数据超时，导致创建checkpoint失败
Flink 的 Checkpoint配置详解
猫猫爱吃小鱼粮
09-18 2339
Flink 的 Checkpoint 配置详解
Flink 调优：Checkpoint 配置
GatsbyNewton
05-04 7885
Checkpoint 是 Flink 的失败恢复机制，它的配置对于 Flink 应用程序的性能和稳定性有这至关重要的影响。
Apache Flink：Flink性能调优与最佳实践.docx
11-12
Flink的核心是其流处理引擎，而其主要组件包括TaskManager（执行计算任务的Worker节点）、JobManager（负责任务调度和集群管理的Master节点）、Checkpoint Coordinator（管理状态的一致性检查点）、Source（数据的...
flink sql checkpoint 调优配置
wangqiaowq的博客
08-21 5907
`execution.checkpointing.externalized-checkpoint-retention`: 外部化检查点的保留策略。- `execution.checkpointing.tolerable-failed-checkpoints`: 允许的连续失败检查点的最大数量。- `execution.checkpointing.max-concurrent-checkpoints`: 并发生成检查点的最大数量。如果设置为`true`，则检查点将在作业的所有任务完成之前生成。
Flink任务故障恢复：Checkpoint与Savepoint使用技巧与区别
最新发布
软件工程实践的博客
11-09 817
特性CheckpointSavepoint目的自动容错，应对任务意外故障计划操作，用于升级、迁移、扩缩容、版本管理、维护触发方式周期性自动触发手动触发生命周期管理短暂，自动创建、保留最新N个(可配)、自动清理持久用户显式创建、显式删除，长期保留内容仅算子状态 + 源位置算子状态 + 源位置 + 作业元信息(JobGraph)粒度与重量轻量(仅状态)，设计为频繁、低延迟运行重量(状态+元数据)，创建更耗时（秒~分钟级）恢复目标恢复原状(在相同作业/配置下故障重启)迁移变种(可在。
【Flink答疑】Flink sql 状态过期后，checkpoint 大小没变化
ChengYanan的博客
01-15 1956
版本： 1.12.0 方式： flink sql 测试sql： select a.id,b.money,b.createTime from test_state_from a full join test_state_from1 b on a.id=b.id; 问题： test_state_from和test_state_from1 分别插入50万条数据，查看 checkpoint 大小为83m，state ttl 设 置为16分钟，30分钟后查看checkpoint的值还是83m，状态过期清理
Flink Checkpoint和大型状态调优
VqhhMobile的博客
09-14 406
并行化Checkpoint：Flink支持将Checkpoint操作并行化，以提高Checkpoint的性能。在使用Flink时，优化Checkpoint和处理大型状态是非常重要的，以确保作业的可靠性和性能。Checkpoint是Flink提供的一种容错机制，它可以将作业的状态保存到持久化存储中，以便在故障发生时进行恢复。使用增量状态更新：在处理大型状态时，如果只更新状态中的一小部分数据，可以考虑使用增量状态更新，而不是替换整个状态。通过以上优化方法，可以提高Flink作业在处理大型状态时的性能和可靠性。
Flink 管理大型状态之增量 Checkpoint
SmartSi
09-24 486
Apache Flink 是一个有状态的流处理框架。什么是流处理应用程序的状态呢？你可以理解状态为应用程序算子中的内存。但是，有状态的流处理仅在状态可以容错的情况下才建议在生产环境中使用。这里的容错是指即使出现软件或机器故障，计算的最终结果也是准确的，不会出现丢失数据或重复计算的情况。Flink 的容错一直是一个功能强大的特性，可以最大限度地减少软件或机器故障对我们业务带来的影响，并可以保证 Flink 应用程序结果的 Exactly-Once 语义。
flink-checkpoint
zhangkai0575的博客
12-19 423
Checkpoint Flink 容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的checkpoint 是通过分布式快照实现的,所以在flink中这两个词是一个意思。 checkpoint机制需要一个可靠的可以回放数据的数据源(kafka,RabbitMQ,HDFS…)和一个存放state的持久存储（HDFS,S3…）。 1，checkpointConfig 通过调用...
【Flink系列】- RocksDB增量模式checkpoint大小持续增长的问题及解决
马路上开飞机
03-31 7674
背景 一个使用FlinkSQL开发的生产线上任务， 使用Tumble Window做聚和统计，并且配置table.exec.state.ttl为7200000，设置checkpoint周期为5分钟，使用rocksdb的增量模式。 正常情况下，任务运行一段时间以后，新增和过期的状态达到动态的平衡，随着RocksDB的compaction，checkpoint的大小会在小范围内上下起伏。 实际观察到，checkpoint大小持续缓慢增长，运行20天以后，从最初了100M左右，增长到了2G，checkpoi
【Flink】Flink 新一代流计算和容错 Unaligned Checkpoint、快速Checkpoint、更小的Checkpoint
九师兄
08-15 793
仅供自我学习，里面的三个检查点相关的，我觉得很重要很清晰，记录一下，防止找不到了。摘要：本文整理自 Apache Flink 引擎架构师、阿里巴巴存储引擎团队负责人梅源在 Flink Forward Asia 2021 核心技术专场的演讲。本次演讲内容围绕 Flink 的高可用性探讨 Flink 新一代流计算的核心问题和技术选型，包括：Flink 高可用流计算的关键路径容错 (Fault Tolerance) 2.0 及关键问题数据恢复过程稳定快速高效的 Checkpointing。......
flink的背压问题产生原因和解决方法
hellojoy的博客
01-12 2596
https://www.jianshu.com/p/74c031b1ec29 最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题: 如下图: 1) flink的checkpoint生成超时, 失败: checkpoint超时 2) 查看jobmanager日志,定位问题: jobmanager日志 3) 找大神帮忙定位问题, 原来是出现了背压的问题, 缓冲区的数据处理不过来，bar...
Flink 调优：大规模状态数据集中的 Checkpoint 实战
GatsbyNewton
09-06 2038
Checkpoint 的配置对于 Flink 应用程序的性能和稳定性有这至关重要的影响，本文介绍大规模状态数据集中的 Checkpoint 实战。
Flink在大规模状态数据集下的checkpoint调优
走在前往架构师的路上
12-26 5513
文章目录前言Checkpoint快慢的性能指标相邻Checkpoint的间隔时间设置外部State的存储选择 前言 众所周知，Flink内部为了实现它的高可用性，实现了一套强大的checkpoint机制，还能保证作用的Exactly Once的快速恢复。对此，围绕checkpoint过程本身做了很多的工作。在官方文档中，也为用户解释了checkpoint的部分原理以及checkpoint在实际生...
Flink checkpointing 耗时很长
weixin_40912883的博客
04-03 3128
官方有提供checkpointing debug建议。https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/large_state_tuning.html现在遇到过的情况列举如下：通过成功的checkpointing历史记录，查看start delay时间，推断出现在系统有背压。第一次checkpointing就...
深入解析Flink源码：构建数据流处理流程
5. **State & Checkpoint**：Flink支持状态管理和检查点机制，用于在故障恢复时保持数据的一致性。`KeyBy`操作会触发状态的创建，而`Reduce`、`aggregate`、`ProcessWindowFunction`等操作则会更新或聚合状态。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值