Exceeded checkpoint tolerable failure threshould【记一次flink上线异常】

最新推荐文章于 2024-06-22 00:27:49 发布

原创

最新推荐文章于 2024-06-22 00:27:49 发布 · 1.6w 阅读

9 ·

CC 4.0 BY-SA版权

在部署Flink程序后，遇到一分钟后任务挂起的问题，检查日志显示checkpoint超时。首先调整checkpoint超时时间，但问题依旧，checkpoint状态持续为IN_PROGRESS。进一步排查发现是由于忘记关闭数据库连接，导致资源占用，任务卡住。在预生产环境中，大量数据触发了该问题。修复代码并重新上线后，checkpoint恢复正常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近完成一个业务需求，flink程序上线之后，跑了不到一分钟就挂了，查看日志，报错如下：

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold.
        at org.apache.flink.runtime....

在这里插入图片描述
明显，checkpoint超时了，于是，我下意识地去检查checkpoint的设置，
代码中的设置如下：

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序员椰子橙

关注关注

3
点赞
踩
9

收藏

觉得还不错? 一键收藏
6
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Flink】Flink Exceeded checkpoint tolerable failure threshold

九师兄

01-22

2430

1.概述 Flink程序，如果单平行度运行是正常的，多并行度运行时有一个subtask的数据量很少，写kafka的数据为0，在做checkpoint的时候就会超时。报错如图这个错误的意思是：超过检查点可容忍失败阈值对应的源码位置位于 /** * 超过检查点可容忍失败阈值 */ public static final String EXCEEDED_CHECKPOINT_TOLERABLE_FAILURE_MESSAGE = "Exceeded

【Flink】Flink检查点时间太小导致Exceeded checkpoint tolerable failure threshould

九师兄

06-29

7386

1.背景写了一个flink程序，大概如下 @Test public void flatMapStateBackendTest() throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】 env.enableCheckp.

6 条评论您还未登录，请先登录后发表或查看评论

flink 出现反压场景，异常场景造成Exceeded checkpoint tolerable failure threshold.

u012447842的博客

10-14

7529

现象： flink 自定义写hdfs 的addsink 方法处理慢，出现了挤压现象；导致上游反压，后排查发现时 addsink 里面有一个解析rawtrace方法耗时很长，同时RichSinkFunction 是和平行度一样的线程数，导致出现了阻塞解决方案：把解析rawtrace代码放在了keyby， map里， keyby是按照traceId，将解析rawtrace 放在procesfuntion里，每来一条数据就解析一次，而不是在最后写入的时候去解析，这样不会出现阻塞的现象。

Flink CheckPoint ： Exceeded checkpoint tolerable failure threshold

lck_csdn的博客

06-09

3483

Flink异步IO查询HBase数据超时，导致创建checkpoint失败

Flink报错：exceeded checkpoint tolerable failure threshould

东城庞太师

03-14

3934

问题如图：原因：资源太小 checkpoint时间太小数据库连接未关闭，资源未释放。解决：重新部署运行，正常！

[Flink 日记]Exceeded checkpoint tolerable failure threshold.

王先生的博客

05-24

4097

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. 原因CheckpointTimeout 设置的Checkpoin超时时间内未完成任务导致的超时异常。解决 1，增加超时时间 2，增加机器性能。 ...

Flink任务失败，检查点失效：Exceeded checkpoint tolerable failure threshold.

最新发布

hwh_scut的博客

06-22

1516

SqlServer同步到Paimon因数值转换出错（NumberFormatException），导致checkpoint失败，作业运行异常的处理

Flink超过了可容忍的检查点失败阈值大数据

AlianBlank的博客

08-17

1054

总结起来，要解决"Flink Exceeded checkpoint tolerable failure threshold"错误，我们可以通过增加检查点失败阈值、优化作业配置、调整检查点存储方式以及升级Flink版本等方法来提高系统的容错性和稳定性。检查点是Flink中实现故障恢复和容错性的关键机制，它可以将作业的状态保存到持久化存储器中，并能够在需要时从该状态恢复。因此，如果遇到多次检查点失败的情况，可以考虑升级到最新的Flink版本，以获得更好的故障恢复和容错性能。那么，我们应该如何解决这个问题呢？

flink sql 报错：FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold

zuixue_lei的博客

06-13

1760

当出现这种错误时，原因一般是启动任务时，所给的资源不够。可以调整 streamx 界面上的并行度、task的内存调大。然后重启任务看下是否能行。

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold

m0_37987037的博客

10-13

5584

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. 原因 CheckpointTimeout 设置的Checkpoin超时时间内未完成任务导致的超时异常。解决 1，增加超时时间 2，增加机器性能 3，减少数据处理量：source并行度和窗口数据量减少，sink 并行度增加 ...

flink程序：Exceeded checkpoint tolerable failure threshould

syd19950119的博客

10-26

3493

@[TOC]Exceeded checkpoint tolerable failure threshould 在写一个flink程序时报错， Exceeded checkpoint tolerable failure threshould 百思不得其解，百度问题发现需要收费，简直无语最后找到问题所在我是使用了ListState，在第一次运行时他需要添加值，我设置初始值为null，而源码中要求不能为null 一般电脑性能好的话是不会出现这个问题，但是在第一次运行时需啊哟时间去拿到值，而我设置的checkp

Flink报错：org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold

小蚯蚓的博客

01-14

5051

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 一、问题描述 flink执行任务报错 2022-01-11 15:10:49 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.c

Flink｜checkpoint 超时报错问题处理（FlinkRuntimeException）

长行

01-07

3068

Flink 的 checkpoint 的超时时间时 600 秒，但是这个任务需要 11 分钟才能完成。另一方面也可能是因为线上运行时，对 MySQL 请求时走的是内网请求，而本地运行走的是外网请求。为了评估一个 Flink 程序的处理效果，我使用本地模式启动了 Flink 程序，并在上游表中一次性插入了大量数据（大概相当于线上单个并发 4 - 5 分钟的最大处理量），以触发计算。但是，在本地计算中，一直无法计算完成，观察后发现任务在被重复计算，进而发现 Flink 在不断从 checkpoint 恢复。

Flink检查点频率过高导致超过可容忍的故障阈值

2301_79366435的博客

09-18

222

在大数据处理中，Apache Flink是一个强大的分布式流处理框架，它提供了容错性和故障恢复机制，其中一个重要的特性是检查点（Checkpoint）。一个常见的问题是，当检查点频率设置得过高时，应用程序的吞吐量可能会受到影响。如果检查点频率设置得过高，那么保存检查点的操作可能会成为性能瓶颈，导致应用程序的整体吞吐量下降。较小的检查点间隔意味着更频繁的状态保存，这在某些情况下可能是有益的，例如需要快速恢复应用程序状态的关键任务。较大的检查点间隔可以减少检查点操作的频率，提高应用程序的吞吐量。

【Flink】Flink 设置检查点失败一次就报错 setTolerableCheckpointFailureNumber 不起作用

九师兄

07-16

1262

请问大家，Flink怎么让检查点失败，任务马上就停止呢？Flink1.14.4，我把检查点设置到了一个不存在的路径，检查点失败，但是任务没有停止。请问怎么样能让检查点失败导致任务失败停止？尝试过RestartStrategies.noRestart，以及setTolerableCheckpointFailureNum为0，但是都没有用对应代码如下最终解决设置了这个就可以了。把相关重启参数去掉。......

【Flink 使用注意】关于Checkpoint的tolerableCheckpointFailureNumber的使用

ChengYanan的博客

01-29

2901

我们在使用checkpoint时，会遇到这样一个参数设置： env.getCheckpointConfig().setTolerableCheckpointFailureNumber(1); tolerableCheckpointFailureNumber 限制的是最大可容忍的连续失败checkpoint计数 continuousFailureCounter 参考链接[1]，例如将tolerableCheckpointFailureNumber 设置成3，连续失败3次，continuousFailureC

flink设置checkpoint部署后一直重启，出现检查点无法写入的问题

weixin_42965737的博客

04-07

3695

问题描述项目一共有7个应用程序，只有其中一个程序出现检查点问题，参数配置都相同。 flink部署后的异常为： org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 最终发现这个提示是没有用的，最后经过一番艰苦的努力，终于解决了问题，这里直接上干货。问题原因：由于这个程序连接的数据库比较多，可能会出现这个检查点没有做完，被丢弃掉，又重新开始了一个，循环往复。导致的问题.

Flink Checkpoint超时问题

lisenyeahyeah的博客

03-09

1万+

Flink Checkpoint超时问题排查文章目录Flink Checkpoint超时问题排查问题现象问题分析问题1：TaskManager进程挂掉问题2：任务长时间处于CANCELING问题3：Checkpoint超时问题4：数据无法正常同步解决思路总结参考文档问题现象业务部门最近使用Flink来做数据实时同步，通过同步工具把CDC消息接入Kafka，其中上百张表同步到单个topic里，然后通过Flink来消费Kafka，做数据解析、数据分发、然后发送到目标数据库(mysql/oracle)，整个

exceeded checkpoint tolerable failure threshold

09-17

"exceeded checkpoint tolerable failure threshold" 是一个表示某个检查点可接受故障阈值已超过的错误信息。在计算机科学中，检查点是程序执行过程中的一个关键时刻，它代表了一个合法的状态，可以在之后的故障恢复中使用。检查点机制可以帮助程序在发生故障时恢复到之前的某个有效状态，从而减少数据丢失和程序崩溃的影响。这个错误信息提示"exceeded checkpoint tolerable failure threshold"表示程序在执行过程中已经超过了能够容忍的故障阈值。换句话说，程序在某个时刻发生的故障次数已经达到或超过了系统事先设定的限制。这可能意味着当前程序运行的稳定性较差，出现的故障次数已经超过设计的容忍范围。超过阈值的故障次数可能导致程序无法正常恢复或运行，可能会造成数据丢失或程序崩溃。解决这个问题的方法包括增加故障恢复机制的容错能力，改进代码质量以减少故障的发生，或者增加计算资源或系统配置以提高系统的稳定性。总之，"exceeded checkpoint tolerable failure threshold"这个错误信息告诉我们程序发生的故障次数已超过系统容许的阈值，需要采取措施来解决和改进程序的稳定性和故障恢复能力。