Flink线上问题处理方案
关注
分享
扫一扫
文章平均质量分 63
Flink线上问题处理方案 （含：原因分析及处理方法）
500佰
公众号：农村程序员500佰，开发代码库：https://gitee.com/wubaidev
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flink on Hudi任务启动运行失败报错only inmemory index type can be used
Flink on Hudi任务启动运行失败报错only inmemory index type can be used原创 2025-02-07 12:24:31 · 341 阅读 · 14 评论 -
Flink on Hudi作业校验报错Schema evolution is disable
Flink on Hudi作业校验报错Schema evolution is disable原创 2025-02-07 12:20:15 · 239 阅读 · 4 评论 -
FlinkSQL启动报错could not send message
FlinkSQL启动报错could not send message原创 2025-02-07 12:17:50 · 529 阅读 · 6 评论 -
Flink on Hudi作业校验报错Schema evolution is disable
Flink on Hudi作业校验报错Schema evolution is disable原创 2025-02-07 12:14:50 · 369 阅读 · 4 评论 -
Flink on Hudi场景作业运行失败报java.lang.ArrayIndexOutOfBoundsException：-1
Flink on Hudi场景作业运行失败报java.lang.ArrayIndexOutOfBoundsException：-1原创 2025-02-07 12:10:04 · 376 阅读 · 4 评论 -
Flink on Hudi作业运行报错No inflight instant when flushing data
Flink on Hudi作业运行报错No inflight instant when flushing data原创 2025-02-06 22:07:19 · 446 阅读 · 3 评论 -
Flink写Hudi表的分区格式与Spark写Hudi表的分区格式不一致
Flink写Hudi表的分区格式与Spark写Hudi表的分区格式不一致原创 2025-02-06 22:01:38 · 256 阅读 · 2 评论 -
Flink on Hudi DDL与Hudi表Schema不一致
Flink on Hudi DDL与Hudi表Schema不一致原创 2025-02-06 22:00:33 · 228 阅读 · 4 评论 -
Flink on Hudi stream write mor表时无数据写入
Flink on Hudi stream write mor表时无数据写入原创 2025-02-06 21:59:14 · 214 阅读 · 5 评论 -
FlinkSQL读Kafka写Hudi运行一段时间后报错Timeout(600500ms) while waiting for instant initialize
FlinkSQL读Kafka写Hudi运行一段时间后报错Timeout(600500ms) while waiting for instant initialize原创 2025-02-06 21:57:53 · 433 阅读 · 4 评论 -
FlinkSQL读Hudi表时报错java.lang.ArrayIndexOutOfBoundsException
FlinkSQL读Hudi表时报错java.lang.ArrayIndexOutOfBoundsException原创 2025-02-06 13:07:50 · 265 阅读 · 3 评论 -
Flink on Hudi数据重复
Flink on Hudi数据重复原创 2025-02-06 13:02:20 · 252 阅读 · 2 评论 -
Flink on Hudi流读增量读
Flink on Hudi流读增量读原创 2025-02-06 12:57:39 · 171 阅读 · 2 评论 -
Flink任务使用Hudi或Hbase作维表时报错Temporal table join requires equivalent condition of the same type
Flink任务使用Hudi或Hbase作维表时报错Temporal table join requires equivalent condition of the same type原创 2025-02-06 12:55:22 · 449 阅读 · 4 评论 -
Flink on Hudi业务报错Timeout while waiting for instant initialize
Flink on Hudi业务报错Timeout(60500ms) while waiting for instant initialize原创 2025-02-06 12:48:55 · 290 阅读 · 5 评论 -
Flink on Hudi报错Could not read schema from last compaction, no compaction commits found on path Hoodi
Flink on Hudi报错Could not read schema from last compaction, no compaction commits found on path HoodieTableMetaClient原创 2025-02-06 12:31:45 · 352 阅读 · 0 评论 -
FLINK客户端配置及安装
FLINK客户端配置及安装原创 2025-02-04 23:42:06 · 827 阅读 · 2 评论 -
Flink提交任务命令执行错误ClassNotFoundException
Flink提交任务命令执行错误ClassNotFoundException原创 2025-02-04 10:47:51 · 711 阅读 · 6 评论 -
yarn-session创建Flink集群报错NoAuthException: KeeperErrorCode = NoAuth for /flink/application_xx
yarn-session创建Flink集群报错NoAuthException: KeeperErrorCode = NoAuth for /flink/application_xx原创 2025-02-04 10:45:32 · 393 阅读 · 1 评论 -
Flink客户端执行flink命令报错ClusterRetrieveException
Flink客户端执行flink命令报错ClusterRetrieveException原创 2025-02-04 10:43:32 · 942 阅读 · 2 评论 -
Flink提交任务命令执行错误NoSuchMethodError
Flink提交任务命令执行错误NoSuchMethodError原创 2025-02-04 10:42:08 · 590 阅读 · 0 评论 -
Flink taskmanager.out文件太大磁盘使用率过高
Flink任务的taskmanager.out文件过大导致磁盘使用率过高原创 2025-02-03 15:28:05 · 442 阅读 · 0 评论 -
Zookeeper leader倒换后Flink任务失败
Zookeeper leader倒换后Flink任务失败原创 2025-02-03 13:06:52 · 353 阅读 · 0 评论 -
Flink对接Hbase、ES性能弱于kafka的组件时出现持续背压且出现Full Gc
Flink对接Hbase、ES性能弱于kafka的组件时出现持续背压且出现Full Gc原创 2025-02-02 22:52:29 · 449 阅读 · 0 评论 -
Flink任务运行过程sink端中对接kafka报错
Flink任务运行过程sink端中对接kafka报错原创 2025-02-02 22:41:24 · 496 阅读 · 0 评论 -
Flink任务运行过程中出现报错netty.exception.LocalTransportException
Flink任务运行过程中出现报错netty.exception.LocalTransportException原创 2025-02-02 22:34:42 · 413 阅读 · 0 评论 -
Flink任务运行过程中出现报错netty.exception.RemoteTransportException
Flink任务运行过程中出现报错netty.exception.RemoteTransportException原创 2025-02-02 22:30:08 · 621 阅读 · 1 评论 -
Flink写kafka出现报错Failed to send data to Kafka: This server is not the leader for that topic-partition
Flink写kafka出现报错Failed to send data to Kafka: This server is not the leader for that topic-partition原创 2025-02-02 11:02:23 · 589 阅读 · 2 评论 -
FlinkSQL获取数据格式为csv、json时遇到错误数据导致任务失败，报错Caused by：org.apache.flink.api.common.io.parseException: Row
FlinkSQL获取数据格式为csv、json时遇到错误数据导致任务失败，报错Caused by：org.apache.flink.api.common.io.parseException: Row too short原创 2025-02-02 10:58:01 · 513 阅读 · 0 评论 -
Flink算子的部分节点产生背压，其它节点正常
Flink算子的部分节点产生背压，其它节点正常原创 2025-02-02 10:52:44 · 384 阅读 · 0 评论 -
任务启动失败，报资源不足：Could not allocate all requires slots within timeout of xxxx ms
任务启动失败，报资源不足：Could not allocate all requires slots within timeout of xxxx ms原创 2025-02-02 10:49:47 · 451 阅读 · 0 评论 -
业务运行一段时间报InvalidAMRMToken from xxx
业务运行一段时间报InvalidAMRMToken from xxx原创 2025-02-02 10:47:09 · 360 阅读 · 0 评论 -
Flink消费kafka任务停止一段时间后，任务无法重启
Flink消费kafka任务停止一段时间后，任务无法重启原创 2025-02-02 10:44:40 · 633 阅读 · 0 评论 -
Flink任务的日志目录增长过快，导致磁盘写满
Flink任务的日志目录增长过快，导致磁盘写满原创 2025-02-02 10:41:16 · 438 阅读 · 1 评论 -
Flink对接kafka-写入数据倾斜，部分分区没有写入数据
Flink对接kafka-写入数据倾斜，部分分区没有写入数据原创 2025-02-02 10:39:14 · 460 阅读 · 0 评论 -
Flink对接HBase任务运行一段时间后突然中断
Flink对接HBase任务运行一段时间后突然中断原创 2025-02-02 10:36:48 · 271 阅读 · 0 评论