azkban设置重试不起作用，且有的任务一直running，无日志

原创

于 2022-11-13 11:18:06 发布 · 958 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#azkaban #python

job脚本

# foo.job
type=command
command=su olc_pro -c "bash /app/script/python_common_file/pymain.sh coupon_user_active.py"
retries=3
retry.backoff=100000  #代表重试间隔时间

现象：

最近几次，在新上线的任务中，发现其中一个job报错并没有执行失败重试的操作，更糟糕的是也导致其他job都无法运行，且无日志可查看
在这里插入图片描述
如图，第一个任务失败，第二个任务会一直running，打开右边的log发现全部都是空白。且整体任务已经显示了failed

经追查，打开flow_log发现

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

古城的风cll

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

uniapp：解决APP手机锁屏后台熄屏后定时任务不起作用解决教程，手机息屏导致定时器setTimeout、setInterval时间不准问题（app挂到后台以后会导致定时任务延缓不对或直接根本无效）

高级前端工程师

09-26

4172

uniapp安卓苹果app，后台熄屏后，定时任务不起作用的解决方案，uniapp APP定时任务熄屏时间不对解决方案，uniapp安卓端后台定时任务不能触发问题，手机息屏导致 js 定时器时间不准问题及解决方法，uniapp中 setTimeout setInterval 应为在后台app的节省保存机制，会导致定时器的任务延缓，uniapp如何常驻后台，并每分钟获取，uni-app项目需要每隔十秒钟提交定位信息，手机总是自动杀掉该APP后台进程，怎么能一直保持APP正常运行，不被手机杀掉后台进程？uniap

【FLink】FLink 流任务一直卡在 RUNNING 或者初始化状态

九师兄

12-09

2550

有一次我在flink运行的时候因为要调试，然后在open方法中执行了一个sleep方法，导致任务一直卡着或者在初始化状态中上诉代码，测试完忘记该回去了，结果一直错误。

1 条评论您还未登录，请先登录后发表或查看评论

服务器意外重启后 azkaban无法执行任务

h952520296的博客

09-06

1129

上周服务器意外重启了一次没有关闭azkaban ，周一开发反馈无法执行任务排查了一下azkaban-exec-server 没有什么报错然后排查azkaban-web-server ，发现 azkaban 一直在尝试连接某个端口 java.util.concurrent.ExecutionException: org.apache.http.conn.HttpHostConnectException: Connect to uhadoop-mvd4qu-core6:6836 [uhad...

解决azkaban执行任务一直Running状态

staticpoint的博客

04-11

7132

1 、修改exec-server/plugins/jobtypes/commonprivate.properties文件，添加memCheck.enabled=false这一行，关闭内存检测 2 、如果还是一直Running，查看exec中的执行日志发现虽然修改了不检测内存，但是还是在报内存不足，这时需要去看一下exec中的配置 3、修改exec-server/conf/azkaban.pro...

黑猴子的家：Azkaban3.84.4之自动重试

黑猴子的博客

06-12

408

1、base.project [alex@hadoop102 azkaban]$ vim jobs/base.project azkaban-flow-version: 2.0 2、base.flow [alex@hadoop102 azkaban]$ vim jobs/base.flow nodes: - name: jobA type: command config: ...

Azkaban案例（其他）

weixin_45417821的博客

06-24

449

文章目录作业依赖案例自动失败重试案例手动失败重试案例作业依赖案例需求：JobA 和 JobB 执行完了，才能执行 JobC 具体步骤： 1）新建second.flow 为如下内容 nodes: - name: jobC type: command # jobC 依赖 JobA 和 JobB dependsOn: - jobA - jobB config: command: echo "I’m JobC" - name: jobA type: command config: com

azkaban跑项目的时候，一直running，

小白学编程

08-19

5461

azkaban跑项目的时候，一直running，打开flow log显示以下错误：错误原因：因为虚拟机资源不够解决办法：调整虚拟机的内存

azkaban配置任务失败重试

lunhuasxk的专栏

11-18

8095

retries=1 ##失败的job的自动重试的次数 retry.backoff=10000 ##重试的间隔（毫秒）创建spring.job type=command command=echo "spring start... now is : ${azkaban.flow.start.year}-${azkaban.flow.start.month}-${azkaban.flow.sta...

azkaban失败任务批量重跑

辉哥大数据

04-25

4892

其他接口可以参考官方文档 https://azkaban.readthedocs.io/en/latest/ajaxApi.html 一、mydb查询失败数据（查出projectname和flowid） select b.name ,a.flow_id from execution_jobs a INNER JOIN projects b ON a.project_id = b.id WHERE ...

单机任务重试机制——重启不丢任务

carey_OoO的博客

09-26

3853

任务失败重试机制某些场景下业务失败需要重试，比如说状态通知第三方，发奖品，发短信等等。总体的思路是将任任务现场记录下来，然后稍后重试。方案有多种任务现场存储在db中，使用分布式任务调度统一去执行。任务现场存储在文件中，各自重试。方案二的依赖少，而且能做到各个机器的隔离，但是没有HA。方案一具有HA，但实现与机器相关的业务场景比较难，比如某台机器缓存更新失败，需要稍后重试，而且引入的依赖会很多

Hive提交到yarn的任务一直在running问题排查-V2

热门推荐

u013332124的专栏

12-24

3万+

解决hive已经停止的任务一直在yarn上运行的问题

Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found

10-15

主要介绍了Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found,本文给大家介绍的非常详细，需要的朋友可以参考下

azkaban调度任务直接失败?

吴成伟的博客

04-22

2064

问题描述: azkaban调度任务直接失败?如下图,并且没有日志产生解决过程: 查看服务器中executor日志 [root@node4 logs]# ls azkaban-execserver.log [root@node4 logs]# pwd /opt/azkaban/azkaban-exec/bin/logs [root@node4 logs]# 找出错误原因: azkaban....

Azkaban任务失败重试及重试间隔命令

说文科技，做有态度的研究。

09-14

8245

Azkaban任务失败重试及重试间隔命令在.job文件中，添加如下命令： retries=12 retry.backoff=300000

一次azkaban-exec某个节点不执行任务的问题总结复盘

02-24

1195

1、问题描述先说下我们生产环境的部署情况 azkaban-exec部署在prod11、prod12两台机器上，这两台都是物理机，同时还不部署了namenode、resourcemanafer、historyserver、hiverserver、metastore等正常情况应该是两个azkaban-exec节点都能执行任务，但是昨天发现居然只有一个节点在执行任务可以通过执行sql语句进行验证： select * from executors; +----+----------------------

Azkaban（二）：基础案例集-依赖案例、自动重试案例、手动调节是否执行案例

qq_55906442的博客

10-14

955

注：azkaban.project和second.flow保存时注意类型要选择为All type (*.*)。注：azkaban.project和third.flow保存时注意类型要选择为All type (*.*)。注：azkaban.project和four.flow保存时注意类型要选择为All type (*.*)。2.将azkaban.project和four.flow压缩，以zip格式压缩，文件名一定要是英文。手动调节job是否执行案例完成！失败自动重试案例完成！4.web server操作。

Azkaban

KZZ‘s PDG的博客

07-27

371

Azkaban azkaban 是由领英退出的一款开源免费的工作流调度器软件特点功能强大可以调度几乎所有软件的执行（command）配置简单 job配置文件提供了web页面使用 java语言开发源码清晰可见可以进行二次开发架构 web服务器：对外提供web服务用户在页面上进行项目的相关管理 executor服务器：负责具体的工作流的调度提交。数据库：用于保存...

白话大数据开发之Azkaban问题一

DateScience的博客

12-30

468

白话大数据开发之Azkaban问题一问题描述：- 作为任务调度工具，执行spark任务时，一直处于running状态** 如果在提交Azkaban时出现任务一直运行running状态，执行不完成，查看azkaban webui日志发现“Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job job1, sleep for 60 secs and retry, at… …”问题，原因分析：是执行主机内存不足引起，azkaban要求执行主

Azkaban配置Work Flow案例实操

weixin_42796403的博客

01-14

1310

Work Flow案例实操目录Work Flow案例实操1. Yarm语法简介2. HelloWorld案例3. JavaProcess案例4. 作业依赖案例5. 自动失败重试案例6. 手动失败重试案例 1. Yarm语法简介 2.0 azkaban支持 properties配置文件，也支持yml配置文件！ 3.0 azkaban默认支持yml配置文件！ yarm语法： yml: 简洁，适合表示层级关系复杂的数据！ yml主要使用缩进表示层级关系，一旦下一行出现了缩进，表示下一行是上一行的子

Stolos：面向有向无环图的分布式任务调度系统

Stolos 是一个专为复杂分布式管道设计的有向无环图（DAG）任务依赖性调度程序，其核心目标是通过清晰的任务依赖管理机制，简化多阶段、多应用、多参数执行环境下的工作流编排问题。与传统的任务调度系统如 Apache ...