org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold

最新推荐文章于 2024-06-22 00:27:49 发布
最新推荐文章于 2024-06-22 00:27:49 发布
阅读量5.5k 收藏 4
点赞数
文章标签： apache flink
原文链接：https://blog.youkuaiyun.com/qq_27789725/article/details/117223594
版权
本文记录了一次Flink线上遇到的`Exceeded checkpoint tolerable failure threshold`异常，该异常通常是由于Checkpoint超时未完成导致。解决办法包括增加Checkpoint超时时间、提升系统性能以及减少数据处理量，例如调整source并行度、窗口数据量和sink并行度等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HackerXinAi
关注
【Flink】Flink Exceeded checkpoint tolerable failure threshold
九师兄
01-22 2391
1.概述 Flink程序，如果单平行度运行是正常的，多并行度运行时有一个subtask的数据量很少，写kafka的数据为0，在做checkpoint的时候就会超时。报错如图 这个错误的意思是：超过检查点可容忍失败阈值 对应的源码位置位于 /** * 超过检查点可容忍失败阈值 */ public static final String EXCEEDED_CHECKPOINT_TOLERABLE_FAILURE_MESSAGE = "Exceeded
Flink超过了可容忍的检查点失败阈值 大数据
AlianBlank的博客
08-17 1018
总结起来，要解决"Flink Exceeded checkpoint tolerable failure threshold"错误，我们可以通过增加检查点失败阈值、优化作业配置、调整检查点存储方式以及升级Flink版本等方法来提高系统的容错性和稳定性。检查点是Flink中实现故障恢复和容错性的关键机制，它可以将作业的状态保存到持久化存储器中，并能够在需要时从该状态恢复。因此，如果遇到多次检查点失败的情况，可以考虑升级到最新的Flink版本，以获得更好的故障恢复和容错性能。那么，我们应该如何解决这个问题呢？
Flink报错：org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
小蚯蚓的博客
01-14 5030
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 一、问题描述 flink执行任务报错 2022-01-11 15:10:49 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.c
flink sql 报错：FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
zuixue_lei的博客
06-13 1734
当出现这种错误时，原因一般是启动任务时，所给的资源不够。 可以调整 streamx 界面上的并行度、task的内存调大。 然后重启任务看下是否能行。
Flink｜checkpoint 超时报错问题处理（FlinkRuntimeException）
长行
01-07 2941
Flink 的 checkpoint 的超时时间时 600 秒，但是这个任务需要 11 分钟才能完成。另一方面也可能是因为线上运行时，对 MySQL 请求时走的是内网请求，而本地运行走的是外网请求。为了评估一个 Flink 程序的处理效果，我使用本地模式启动了 Flink 程序，并在上游表中一次性插入了大量数据（大概相当于线上单个并发 4 - 5 分钟的最大处理量），以触发计算。但是，在本地计算中，一直无法计算完成，观察后发现任务在被重复计算，进而发现 Flink 在不断从 checkpoint 恢复。
Flink CheckPoint ： Exceeded checkpoint tolerable failure threshold
lck_csdn的博客
06-09 3428
Flink异步IO查询HBase数据超时，导致创建checkpoint失败
Exceeded checkpoint tolerable failure threshould【记一次flink上线异常】
热门推荐
devcy的博客
03-09 1万+
最近完成一个业务需求，flink程序上线之后，跑了不到一分钟就挂了，查看日志，报错如下： org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.... 明显，checkpoint超时了，于是，我下意识地去检查checkpoint的设置， 代码中的设置如下： // 每 ** ms 开始一
flink 出现反压场景， 异常场景造成Exceeded checkpoint tolerable failure threshold.
u012447842的博客
10-14 7414
现象： flink 自定义写hdfs 的addsink 方法处理慢，出现了挤压现象；导致上游反压，后排查发现时 addsink 里面有一个解析rawtrace方法耗时很长， 同时RichSinkFunction 是和平行度一样的线程数， 导致出现了阻塞解决方案： 把解析rawtrace代码放在了keyby， map里， keyby是按照traceId， 将解析rawtrace 放在procesfuntion里， 每来一条数据就解析一次， 而不是在最后写入的时候去解析，这样不会出现阻塞的现象。
flink写文件报错（lang.NoClassDefFoundError: org/apache/flink/api/common/typeinfo/TypeInformation）
qq_39315954的博客
11-30 2064
1. 使用Flink存储parquet文件报错 21/07/15 14:24:47 INFO checkpoint.CheckpointCoordinator: Triggering checkpoint 2 (type=CHECKPOINT) @ 1626330287296 for job 06a80360b770722f8dd3e41252a5a8d7. 21/07/15 14:24:47 INFO filesystem.Buckets: Subtask 2 checkpointing for chec
FlinkCDC问题处理：Exceeded checkpoint tolerable failure threshold... checkpoint expired before completing
hwh_scut的博客
06-22 1439
SqlServer同步到Paimon因数值转换出错（NumberFormatException），导致checkpoint失败，作业运行异常的处理
Flink任务失败，检查点失效：Exceeded checkpoint tolerable failure threshold.
weixin_45943866的博客
07-19 1万+
在报Exceeded checkpoint tolerable failure threshold.错误的之前，是先报的是Checkpoint expired before completing.大概意思是检查点在完成前过期了。
[Flink 日记]Exceeded checkpoint tolerable failure threshold.
王先生的博客
05-24 4059
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. 原因CheckpointTimeout 设置的Checkpoin超时时间内未完成任务 导致的超时异常。 解决 1，增加超时时间 2，增加机器性能 。 ...
flink程序：Exceeded checkpoint tolerable failure threshould
syd19950119的博客
10-26 3479
@[TOC]Exceeded checkpoint tolerable failure threshould 在写一个flink程序时报错， Exceeded checkpoint tolerable failure threshould 百思不得其解，百度问题发现需要收费，简直无语 最后找到问题所在 我是使用了ListState，在第一次运行时他需要添加值，我设置初始值为null，而源码中要求不能为null 一般电脑性能好的话是不会出现这个问题，但是在第一次运行时需啊哟时间去拿到值，而我设置的checkp
Flink报错：exceeded checkpoint tolerable failure threshould
东城庞太师
03-14 3923
问题如图： 原因： 资源太小 checkpoint时间太小 数据库连接未关闭，资源未释放。 解决： 重新部署运行，正常！
flink设置checkpoint部署后一直重启，出现检查点无法写入的问题
weixin_42965737的博客
04-07 3674
问题描述 项目一共有7个应用程序，只有其中一个程序出现检查点问题，参数配置都相同。 flink部署后的异常为： org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 最终发现这个提示是没有用的，最后经过一番艰苦的努力，终于解决了问题，这里直接上干货。 问题原因： 由于这个程序连接的数据库比较多，可能会出现这个检查点没有做完，被丢弃掉，又重新开始了一个，循环往复。导致的问题.
【Flink】Flink检查点时间太小导致Exceeded checkpoint tolerable failure threshould
九师兄
06-29 7376
1.背景 写了一个flink程序，大概如下 @Test public void flatMapStateBackendTest() throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】 env.enableCheckp.
【异常】FlinkException: The module flink-runtime-web could not be found in the class path
本本本添哥
03-21 1392
因为Maven缺少了POM依赖文件导致的错误。在POM文件中引入如下的依赖即可，问题解决。
Flink Checkpoint超时问题
lisenyeahyeah的博客
03-09 1万+
Flink Checkpoint超时问题排查 文章目录Flink Checkpoint超时问题排查问题现象问题分析问题1：TaskManager进程挂掉问题2：任务长时间处于CANCELING问题3：Checkpoint超时问题4：数据无法正常同步解决思路总结参考文档 问题现象 业务部门最近使用Flink来做数据实时同步，通过同步工具把CDC消息接入Kafka，其中上百张表同步到单个topic里，然后通过Flink来消费Kafka，做数据解析、数据分发、然后发送到目标数据库(mysql/oracle)，整个
Flink任务 checkPoint失败 问题排查记录
Kingsley's Blog
06-17 1万+
背景 公司有一个实时报表项目，需要使用到flink来进行处理。 处理逻辑大概如下： 需要使用canal监控多张表，然后进行一些复杂计算。 程序设置 flink程序代码里面设置了 checkPoint和自动重启机制 //checkpoint配置 env.enableCheckpointing(300000); env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConf
org.apache.flink:flink-yarn_2.11:1.18.1
最新发布
12-13
org.apache.flink:flink-yarn_2.11:1.18.1 是 Apache Flink 项目中的一个依赖包。这个包的主要作用是在 Hadoop YARN 集群上部署和管理 Flink 作业。具体来说，它包含了与 YARN 集成的相关代码，使得 Flink 可以利用 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值