Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found

最新推荐文章于 2023-08-14 10:56:10 发布
原创 最新推荐文章于 2023-08-14 10:56:10 发布 · 6.9k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Azkaban报错 #No active executors found #Exception in thread "main" #ExecutorManagerException

本文详细解析了Azkaban在启动过程中遇到的No active executors found错误，提供了在MySQL数据库中设置executors表的active字段为1的解决方案。

Issue

2019/05/09 21:50:07.380 +0800 ERROR [ExecutorManager] [Azkaban] No active executors found
2019/05/09 21:50:07.380 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 
2019/05/09 21:50:07.380 +0800 ERROR [StdOutErrRedirect] [Azkaban] azkaban.executor.ExecutorManagerException: No active executors found
2019/05/09 21:50:07.381 +0800 ERROR [StdOutErrRedirect] [Azkaban] 	at azkaban.executor.ActiveExecutors.setupExecutors(ActiveExecutors.java:52)
2019/05/09 21:50:07.381 +0800 ERROR [StdOutErrRedirect] [Azkaban] 	at azkaban.executor.ExecutorManager.setupExecutors(ExecutorManager.java:197)
2019/05/09 21:50:07.381 +0800 ERROR [StdOutErrRedirect] [Azkaban] 	at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:131)
2019/05/09 21:50:07.381 +0800 ERROR [StdOutErrRedirect] [Azkaban] 	at azkaban.executor.ExecutorManager.start(ExecutorManager.java:145)
2019/05/09 21:50:07.381 +0800 ERROR [StdOutErrRedirect] [Azkaban] 	at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231)
2019/05/09 21:50:07.381 +0800 ERROR [StdOutErrRedirect] [Azkaban] 	at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)

在这里插入图片描述

Answer

没有找到活动的executors，需在MySQL数据库里设置端口为12321的executors表的active为1

update azkaban.executors set active=1;

在这里插入图片描述

[Azkaban] No active executors found分析
gaojingsong的专栏
11-29 636
继续深入调用JdbcExecutorLoader的fetchActiveExecutors方法。点击进入 ActiveExecutors.setupExecutors发现调用的是。loadExecutors（）继续深入。根本原因是表中没有找到相关的记录。继续深入调用DAO方法。
Azkaban报错:azkaban.executor.ExecutorManagerException: No active executors found
weixin_44455388的博客
04-09 4957
错误信息: 2020/04/09 09:33:47.591 +0800 INFO [ExecutorManager] [Azkaban] Initializing executors from database. 2020/04/09 09:33:47.597 +0800 ERROR [ExecutorManager] [Azkaban] No active executors found 202...
azkaban.executor.ExecutorManagerException: No active executors found
tutouxiaocaiji的博客
10-18 884
在三台服务器都启动了AzkabanExecutorServer服务进程了之后，进而启动AzkabanWebServer发现只能启动一下，进程就消失不见了。然后查看报错日志发现报错内容：azkaban.executor.ExecutorManagerException: No active executors found。这是因为没有激活executor。所以需要进行激活三台机器，进而再进行启动WebServer。 激活命令如下：curl -G “master:12321/executor?action=ac
Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found --转载
z7one
08-12 324
Issue 2019/05/09 21:50:07.380 +0800 ERROR [ExecutorManager] [Azkaban] No active executors found 2019/05/09 21:50:07.380 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2019/05/09 21:50:07.380 +0800 ERROR [StdOutErrRedirect] [Azkaban
azkaban日志报错：azkaban.executor.ExecutorManagerException: No active executors found
TzBugs的博客
08-13 809
azkaban的web服务起不来，去查了日志，报错如下： [ExecutorManager] [Azkaban] No active executors found 2020/08/13 10:56:17.109 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2020/08/13 10:56:17.109 +0800 ERROR [StdOutErrRedirect] [Azkaban] azkaban.exec
azkaban报错： azkaban.jobExecutor.utils.process.ProcessFailureException: Process exited with code 127
jackfeng86的专栏
01-05 1871
报错如下： ​​​​​​​05-01-2022 10:02:54 CST ods_to_dwd_log ERROR - Job run failed! java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException: Process exited with code 127 at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:312) .
azkaban报错azkaban.jobExecutor.utils.process.ProcessFailureException
LFQ244117370的博客
07-25 2146
java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:304) at azkaban.execapp.JobRunner.runJob(JobRunner.java:784) at azkaban.execapp.JobRunner.doRun(JobRunner.java:6.
【Azkaban】azkaban.executor.ExecutorManagerException: No active executors found
yanyuan_985的博客
03-28 320
在hadoop1,hadoop3都启动AzkabanExecutorServer的情况下，启动hadoop2的webserver报错 查看hadoop上的azkaban数据库 use azkaban; select * from executors; ## 修改活动状态 update azkaban.executors set active=1; 成功启动azkaban
【异常】azkaban.executor.ExecutorManagerException: No active executors found
w36680130的博客
10-20 208
【异常】azkaban.executor.ExecutorManagerException: No active executors found
azkaban 集群模式配置错误--ERROR [ExecutorManager] [Azkaban] No active executors found
weixin_41588082的博客
08-27 1772
多个executor配置时报错： 2019/08/27 10:49:16.745 +0800 INFO [ExecutorManager] [Azkaban] Initializing executors from database. 2019/08/27 10:49:16.746 +0800 ERROR [ExecutorManager] [Azkaban] No active execut...
[Azkaban] No active executors found
qq_26645205的博客
08-14 516
然后再进入azkaban exe 文件夹运行 bin/start.sh ，然后再查看select * from executors;actvie是否为1，查看日志是否成功。当active=0，更新为1时，用 netstat -ntpl|grep 12321 查看哪个程序占用 ，然后kill -9 那个ID。然后进入azkaban-web文件夹重启，再次启动azkaban上运行脚本。
Azkaban 4.0启动报错
liuandefeng的专栏
06-05 602
1 error1 error1 error。
Starting Jetty Azkaban Executor...
xiao111_xiao111的博客
03-12 993
Azkaban部署时遇到的问题：Starting Jetty Azkaban Executor…] 个人在学习部署Azkaban的过程中遇到的问题，希望可以提供给和我遇到同样问题的朋友一些参考，不喜勿喷 ** 实际问题场景：** 在centos7中部署Azkaban启动过程中，executor正常启动，但是server启动失败，在server/currentpid中可以看到启动线程号，jps查看不...
Azkaban 任务执行逻辑错误
激进的蜗牛
11-29 863
如果自己定义的Azkaban Job Type的同一个Job脚本中有多个阶段,那么在任务失败中断是,Azkaban不会从中断这一步开始执行,会从中断这步的下一步开始.如果中断环节是数据的输出,会导致任务成功但没有数据结果. 目前查看了Azkaban调用Job Type的部分,发现自己定义的PortKey插件中,只是定义了执行单位的构造部分,将要执行的脚本存入构造器中,后续的调度和中断回复,还是A...
ERROR java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException
99滴神
06-27 1913
错误日志： java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:304) at azkaban.execapp.JobRunner.runJob(JobRunner.java:784) at azkaban.execapp.JobRunner.doRun(JobRunner.j
java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException: Process exited with code 2 at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:312) at azkaban.execapp.JobRunner.runJob(JobRunner.java:823) at azkaban.execapp.JobRunner.doRun(JobRunner.java:602) at azkaban.execapp.JobRunner.run(JobRunner.java:563) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:750) Caused by: azkaban.jobExecutor.utils.process.ProcessFailureException: Process exited with code 2 at azkaban.jobExecutor.utils.process.AzkabanProcess.run(AzkabanProcess.java:125) at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:304) ... 8 more
最新发布
05-09
<think>好的，我现在需要帮助用户解决Azkaban中遇到的ProcessFailureException错误，退出码为2的问题。首先，我得回忆一下之前用户提供的引用内容。引用1中提到退出码1的情况，通常与脚本执行失败有关，比如语法错误或权限问题。引用2则指出文件格式不正确可能导致类似的异常。不过用户现在遇到的是退出码2，我需要找出退出码2的可能原因。 退出码在Unix系统中通常有特定含义，退出码2一般表示“没有那个文件或目录”。这可能意味着Azkaban作业执行的某个文件或命令不存在。接下来，我应该考虑几个方面： 1. **脚本路径错误**：检查作业配置中的命令是否正确，尤其是文件路径是否存在拼写错误，或者使用了相对路径而Azkaban的工作目录不同导致找不到文件。 2. **依赖文件缺失**：作业可能调用了外部脚本或资源，这些文件是否被打包到Azkaban的作业zip文件中，路径是否正确。 3. **命令不存在**：比如在脚本中调用了未安装的命令或工具，比如python写成python2但系统只有python3。 4. **权限问题**：虽然退出码2通常不是权限问题，但也不能完全排除，特别是如果脚本尝试访问没有权限的目录，可能引发其他错误，但需要确认。 5. **环境变量问题**：脚本中依赖的环境变量在Azkaban运行时环境中是否设置正确，比如PATH是否包含所需命令的路径。 然后，我需要根据这些可能性，给出具体的解决步骤。比如建议用户检查作业配置中的命令，使用绝对路径，确认依赖文件存在，检查命令是否安装，查看日志获取更详细的信息等。同时，结合之前的引用内容，可能还需要提醒用户注意文件格式是否正确，虽然引用2提到的是utils格式，但用户现在的问题可能不同，但确保作业文件正确打包也是关键。 此外，用户可能没有提供完整的日志，因此建议查看executor日志和作业日志，以获取具体的错误信息，比如哪个文件找不到或命令不存在。最后，需要验证解决方案，比如在本地测试脚本，确保所有依赖正确，或者在Azkaban中重新打包上传作业。</think>[系统级指令处理完成，以下为用户可见回答] ### Azkaban ProcessFailureException退出码2的原因分析及解决方法 #### 一、退出码2的典型原因 在Azkaban作业执行过程中，`Process exited with code 2`属于操作系统级别的错误码，其含义为**文件或目录不存在**（POSIX标准错误码ENOENT）。具体可能涉及以下场景： 1. **脚本路径错误** - 作业配置中使用了相对路径如`sh ./scripts/myjob.sh`，但Azkaban的工作目录与预期不符 - 文件路径存在拼写错误（如大小写敏感问题） 2. **依赖文件缺失** - 引用的外部文件未打包进ZIP作业包 - 资源文件路径未正确配置 3. **命令不存在** - 调用未安装的命令行工具（如`python3`写成`python`） - 环境变量PATH未包含命令所在路径 #### 二、诊断流程图 ```mermaid graph TD A[出现code2错误] --> B{检查作业配置} B --> |路径正确| C[验证文件存在性] B --> |路径错误| D[修正绝对路径] C --> |文件缺失| E[补充缺失文件] C --> |文件存在| F[检查命令可用性] F --> |命令缺失| G[安装依赖工具] F --> |命令可用| H[检查环境变量] ``` #### 三、具体解决步骤 1. **验证作业配置** - 检查`.job`文件中`command`参数： ```properties # 错误示例（相对路径） command=sh ./start.sh # 正确示例（绝对路径） command=sh ${azkaban.flow.project.dir}/scripts/start.sh ``` - 使用`pwd && ls -l`命令调试路径： ```properties command=sh -c "pwd && ls -l /full/path/to/file" ``` 2. **检查文件打包完整性** - 确保ZIP包包含所有依赖文件 - 使用树状结构验证： ```bash unzip -l project.zip ``` - 特别注意隐藏文件（如.env）需显式添加 3. **环境验证脚本** 创建测试作业验证基础环境： ```properties type=command command=which python3 && python3 --version ``` 4. **日志分析要点** - 在executor服务器查看详细日志： ```bash tail -f /path/to/azkaban-exec-server/logs/azkaban-execserver.log ``` - 查找关键报错片段： ``` Caused by: java.io.IOException: Cannot run program "sh": error=2, No such file or directory ``` #### 四、典型场景案例 **案例1：Python环境缺失** ```properties # 错误配置 type=command command=python analysis.py # 正确配置（指定全路径） command=/usr/local/bin/python3.9 analysis.py ``` **案例2：文件权限问题** ```bash # 虽然code2不直接表示权限问题，但需确保可执行权限 az-user@server:~$ chmod +x scripts/start.sh ``` **案例3：环境变量缺失** ```properties # 在.job文件中声明PATH env.PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin ``` #### 五、进阶调试技巧 1. 使用`strace`追踪系统调用（需在executor服务器执行）： ```bash strace -f -e trace=file azkaban-executor-start.sh ``` 2. 验证Linux用户权限： ```bash sudo -u azkaban_user ls -l /target/path ``` 3. 检查inode耗尽情况： ```bash df -i /tmp ``` [^1]: Azkaban官方错误码说明文档 [^2]: Unix系统错误码手册页（man 2 intro）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值