异常被抛出（不被catch）会导致flink任务挂掉

最新推荐文章于 2023-11-02 15:22:02 发布
最新推荐文章于 2023-11-02 15:22:02 发布
阅读量2.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 云计算/大数据 文章标签： flink 异常 空指针
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/matrix_google/article/details/107389497
本文探讨了在Flink实时数据处理中，如何确保单例对象正确初始化。通过在open方法中进行初始化，并在map计算前检查对象状态，若对象未初始化则抛出空指针异常，使任务在重试后正常失败，以此保障数据处理的健壮性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

背景：

实时效果数据中map的每条数据处理都需要一个单例的对象，这个单例对象的初始化在open方法中

在map每次计算前都会判断此单例对象是否存在，如果不存在希望flink任务挂掉

 

思路：

如果发现对象为null，抛出异常，不catch

空指针异常是运行时异常的子集，抛出哪个都可以，只是空指针异常语义更明确

 

代码如下

 

线上测试

线上部署之后，在task日志，jobManager日志，Exception日志中均发现了空指针异常

flink任务在反复重试几次之后失败（这需要几分钟时间），符合预期

flink1.15.2 报错 processElement_split
yy的博客
11-06 610
把if替换为case when语法。
如何设置 Flink Job RestartStrategy（重启策略）？
http://www.54tianzhisheng.cn/
09-22 612
从使用 Flink 到至今，遇到的 Flink 有很多，解决的问题更多（含帮助微信好友解决问题），所以对于 Flink 可能遇到的问题及解决办法都比较清楚，那么在这章就给大家讲解下几个 Flink 中比较常遇到的问题的解决办法。 Flink Job 常见重启错误 不知道大家是否有遇到过这样的问题：整个 Job 一直在重启，并且还会伴随着一些错误（可以通过 UI 查看 Exceptions 日志），...
Flink重启策略 flink出现异常重新拉起任务
xuye0606的博客
08-11 2645
重启策略概念： Flink支持不同的重启策略，可以控制在发生故障时如何重启新启动作业。 重启策略分类： 重启策略 重启策略值 描述 默认值 Fixed delay fixed-delay 尝试一个给定的次数来重启Job，如果超过了最大的重启次数，Job最终将失败。 启用 checkpointing，但没有配置重启策略，则使用固定间隔 (fixed-delay) 策略，默认值为Integer.MAX_VALUE Failure rate failure-
Flink的checkpoint配置详解
worldchinalee的博客
07-31 6794
实例： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // start a checkpoint every 1000 ms env.enableCheckpointing(1000); // advanced options: // set mode to exactly-once (this is the default) env.getCheckpointConfig()
flinkx抛出异常的情况下（脏数据），怎么结束这个flinkx的进程
吃素的哈士奇de博客
07-15 396
因为处理脏数据的问题类BaseRichOutputFormat 类BaseRichOutputFormat
【flink】Task 故障恢复详解以及各重启策略适用场景说明
最新发布
hiliang521的博客
11-02 2217
【flink】Task 故障恢复详解以及各重启策略适用场景说明
flink 任务提交问题汇总
xiaobai_gongzi的博客
02-04 9563
flink 任务提交问题汇总1、提交flink自带任务WordCount.jar遇到的问题： 1、提交flink自带任务WordCount.jar遇到的问题： - 问题描述： 最近在提交flink项目example下WordCount.jar批处理任务时遇到以下问题： The main method caused an error: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the
Flink之状态编程
qq_41537882的博客
10-27 1023
例如，计算过去一小时的平均水位，就是有状态的计算。检查输入流是否符合某个特定的模式，需要将之前流入的元素以状态的形式缓存下来。开启CheckPoint可以让我们能够无限次的重启Task这样来足以应对流式计算，但如何在Task重启后恢复之前存档的状态呢？数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重。故障转移机制受限于用户所设置的重启次数，一旦达到最大重启次数后将不再进行重启而是直接err，而且状态会丢失。无状态计算：无状态的计算。
flink_01
qq_43027968的博客
05-05 814
尚硅谷大数据项目之Flink (作者：尚硅谷大数据研发部) 版本：V1.12.0 Flink简介 初识Flink Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Apache软件基金会的顶级项目。 在德语中，F
Flink Checkpoint超时问题
热门推荐
lisenyeahyeah的博客
03-09 1万+
Flink Checkpoint超时问题排查 文章目录Flink Checkpoint超时问题排查问题现象问题分析问题1：TaskManager进程挂掉问题2：任务长时间处于CANCELING问题3：Checkpoint超时问题4：数据无法正常同步解决思路总结参考文档 问题现象 业务部门最近使用Flink来做数据实时同步，通过同步工具把CDC消息接入Kafka，其中上百张表同步到单个topic里，然后通过Flink来消费Kafka，做数据解析、数据分发、然后发送到目标数据库(mysql/oracle)，整个
Flink测试资源异常总结及checkpoint机制
m0_57320261的博客
08-18 1516
各个算子(或者说Task) 做完 Checkpoint 之后，再上报 JobManager，JM收到所有算子的ACK，则认为这次CP。解决 1，增加超时时间 2，增加机器性能 3，减少数据处理量 ：source并行度 和窗口数据量减少，sink 并行度增加。各个Source 算子一旦收到 Barrier 之后，开始Init自身的State，并同时向下游发送 Barrier；2、failover的节点对应TM的内存设置太小，GC严重导致心跳超时，建议调大对应节点的内存值。解决办法：重新设置并行度；...
Flink从检查点和保存点恢复Job的命令
qq_38750273的博客
07-14 1524
Flink从检查点和保存点恢复Job作业的命令
flink 任务错误
qq_41067796的博客
05-11 1157
flink 任务错误2023-05-11 14:56:55,745 WARN org.apache.flink.streaming.api.operators.AbstractStreamOperator [] - Error while emitting latency marker.这个错误表示Flink作业在发出延迟标记时出现错误,导致运行时异常。
java异常详解
qq_40135955的博客
05-29 534
1.JAVA是采用面向对象的方式来处理异常的。 （1）.抛出异常：在执行一个方法时，如果发生异常，则这个方法生成代表该异常的一个对象，停止当前执行路径，并把异常对象提交给JRE。 （2）.捕获异常：JRE得到该异常后，寻找相应的代码来处理该异常。JRE在方法的调用栈中查找，从生成异常的方法开始回溯，直到找到相应的异常处理代码为止。 2.结构图 ...
flink故障恢复的流程（从检查点恢复状态）
qq_24095055的博客
08-20 3369
找到最近一次保存的检查点，从中读出每个算子任务状态的快照，分别填充到对应的状态中。这样，Flink 内部所有任务的状态，就恢复到了保存检查点的那一时刻，也就是刚好处理完第三个数据的时候，如图 10-5 所示。从检查点恢复状态后还有一个问题：如果直接继续处理数据，那么保存检查点之后、到发生故障这段时间内的数据，也就是第 4、5 个数据（“flink”“hello”）就相当于丢掉了；之后继续运行，又正常处理了一个数据“flink”，在处理第五个数据“hello”时发生了故障，如图 10-3所示。
Flink作业任务的9种状态简单介绍
weixin_43914798的博客
05-01 6005
当创建一个Flink任务后，该任务可能会经历多种状态。目前Flink给任务共定义了9种状态，包括：`Created`，`Running`，`Finished`，`Cancelling`，`Canceled`，`Restarting`，`Failing`，`Failed`，`Suspended`。
flink执行任务运行10h以后挂掉并且报错
信徒博客
03-27 2521
我觉得可能是1、因为代码错误运行时间长了有bug，这个是最有可能的(90%) 当时默认的内存是1G，不可能存在着内存不够的原因。我用了hadoop的集群的yarn，以及分析了taskmanager和jobmanager的内存大小、以及分析每个错误的原因。2、没仔细分析Log日志，很多时候想要节省时间走捷径，但是发现走的都是弯路。flink运行jar包任务，运行几个小时或者1天以后，任务就会挂掉！flink-conf.yaml 优先使用flink集群有的jar包。flink集群的slot分配有问题。
Flink 常见错误集合
zggpdd的博客
11-19 2380
遇到错误，错误具体如下图所示： Exception in thread “main” java.lang.IllegalStateException: No ExecutorFactory found to execute the application. 经过搜索发现，这个错误其实很简单，主要就是因为flink程序执行时的依赖缺少导致的，缺少的依赖时flink-client，引入这个依赖，重新启动就可以了。 <dependency> <groupId>or
写一个flink任务挂掉从检查点自动重启的shell脚本
05-24
可以使用以下脚本实现： ```bash #!/bin/bash JOB_NAME="your_job_name" # 替换为你的任务名称 CHECKPOINT_DIR="hdfs://your/checkpoint/dir" # 替换为你的检查点目录 FLINK_BIN="/path/to/flink/bin" # 替换为你的 Flink 安装目录 # 启动 Flink 任务 start_job() { $FLINK_BIN/flink run -d -s $CHECKPOINT_DIR/$JOB_NAME/chk-xxxx -c your.job.class.name /path/to/your/jar } # 检查 Flink 任务状态 check_job_status() { status=$($FLINK_BIN/flink list | grep $JOB_NAME | awk '{print $4}') echo "Job status: $status" if [ "$status" == "RUNNING" ]; then return 0 elif [ "$status" == "RESTARTING" ]; then return 1 else return 2 fi } # 主循环 while true; do # 检查任务状态 check_job_status case $? in 0) echo "Job is running"; sleep 60;; 1) echo "Job is restarting"; sleep 60;; 2) echo "Job is not running, starting job"; start_job;; esac done ``` 脚本中的 `$JOB_NAME`、`$CHECKPOINT_DIR` 和 `$FLINK_BIN` 需要替换为你的实际值。其中，`$JOB_NAME` 是你的 Flink 任务名称，`$CHECKPOINT_DIR` 是你的检查点目录，`$FLINK_BIN` 是 Flink 的安装目录。你需要将脚本保存为一个文件，并使用 `chmod +x` 命令添加执行权限。然后，你可以通过运行该脚本启动你的 Flink 任务，并在任务挂掉时自动重启。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值