azkaban.executor.ExecutorManagerException: No active executors found

本文讲述了如何在启动AzkabanWebServer前,通过激活多台服务器上的executor解决'No active executors found'错误。通过curl命令激活executor,并详细介绍了执行激活步骤和解决过程。

在三台服务器都启动了AzkabanExecutorServer服务进程了之后,进而启动AzkabanWebServer发现只能启动一下,进程就消失不见了。然后查看报错日志发现报错内容:azkaban.executor.ExecutorManagerException: No active executors found。这是因为没有激活executor。所以需要进行激活三台机器,进而再进行启动WebServer。
激活命令如下:

curl -G "master:12321/executor?action=activate" && echo
curl -G "slave1:12321/executor?action=activate" && echo
curl -G "slave2:12321/executor?action=activate" && echo
6月 07 14:27:53 ubuntu-1-149 systemd[1]: Starting azkaban... 6月 07 14:28:08 ubuntu-1-149 systemd[1]: Finished azkaban. 6月 07 14:38:30 ubuntu-1-149 systemd[1]: Stopping azkaban... 6月 07 14:38:40 ubuntu-1-149 systemd[1]: azkaban.service: Deactivated successfully. 6月 07 14:38:40 ubuntu-1-149 systemd[1]: Stopped azkaban. 6月 07 14:38:40 ubuntu-1-149 systemd[1]: azkaban.service: Consumed 7.436s CPU time. 6月 07 14:38:40 ubuntu-1-149 systemd[1]: Starting azkaban... 6月 07 14:38:55 ubuntu-1-149 systemd[1]: Finished azkaban. 6月 07 15:01:45 ubuntu-1-149 systemd[1]: Stopping azkaban... 6月 07 15:01:55 ubuntu-1-149 systemd[1]: azkaban.service: Deactivated successfully. 6月 07 15:01:55 ubuntu-1-149 systemd[1]: Stopped azkaban. 6月 07 15:01:55 ubuntu-1-149 systemd[1]: azkaban.service: Consumed 8.633s CPU time. 6月 07 15:01:55 ubuntu-1-149 systemd[1]: Starting azkaban... 6月 07 15:02:10 ubuntu-1-149 systemd[1]: Finished azkaban. 6月 07 15:04:09 ubuntu-1-149 systemd[1]: Stopping azkaban... 6月 07 15:04:19 ubuntu-1-149 systemd[1]: azkaban.service: Deactivated successfully. 6月 07 15:04:19 ubuntu-1-149 systemd[1]: Stopped azkaban. 6月 07 15:04:19 ubuntu-1-149 systemd[1]: azkaban.service: Consumed 6.764s CPU time. -- Boot 905a017290404f1486e9c1d7c4e36603 -- 6月 07 15:04:37 tbea systemd[1]: Starting azkaban... 6月 07 15:04:52 tbea systemd[1]: Finished azkaban. 6月 07 15:07:05 tbea systemd[1]: Stopping azkaban... 6月 07 15:07:15 tbea systemd[1]: azkaban.service: Deactivated successfully. 6月 07 15:07:15 tbea systemd[1]: Stopped azkaban. 6月 07 15:07:15 tbea systemd[1]: azkaban.service: Consumed 7.156s CPU time. 6月 07 15:07:15 tbea systemd[1]: Starting azkaban... 6月 07 15:07:30 tbea systemd[1]: Finished azkaban. 6月 07 15:21:10 tbea systemd[1]: Stopping azkaban... 6月 07 15:21:20 tbea systemd[1]: azkaban.service: Deactivated successfully. 6月 07 15:21:20 tbea systemd[1]: Stopped azkaban. 6月 07 15:21:20 tbea systemd[1]: azkaban.service: Consumed 7.921s CPU time. 6月 07 15:21:20 tbea systemd[1]: Starting azkaba
最新发布
06-08
### Azkaban 服务日志在 Ubuntu 系统上的查看与分析 Azkaban 是一个批量工作流任务调度系统,其服务运行状态和资源消耗日志可以通过 systemd 和其他工具进行监控。以下是关于如何查看 Azkaban 服务的启动、停止以及 CPU 时间消耗日志的具体方法。 #### 1. 查看 Azkaban 服务的状态 使用 `systemctl` 命令可以检查 Azkaban 服务的当前状态: ```bash systemctl status azkaban-executor systemctl status azkaban-web ``` 上述命令将显示服务是否正在运行,并提供最近的日志输出信息[^1]。 #### 2. 查看 Azkaban 服务的日志 通过 `journalctl` 命令可以查看 Azkaban 服务的详细日志: ```bash journalctl -u azkaban-executor.service --since "2023-01-01" --until "2023-01-31" journalctl -u azkaban-web.service -f ``` 第一行命令用于查看特定时间段内的日志,第二行命令则实时跟踪日志输出[^1]。 #### 3. 分析 Azkaban 的资源消耗 为了分析 Azkaban 的 CPU 时间消耗,可以使用以下命令: ```bash pidstat -p $(pgrep -f azkaban) 1 ``` 此命令会定期输出 Azkaban 进程的 CPU 使用情况,包括用户态和内核态的时间消耗[^2]。 此外,还可以通过 `top` 或 `htop` 工具动态监控 Azkaban 的资源使用情况: ```bash top -b -n 1 | grep azkaban ``` #### 4. 检查 Azkaban 的执行器日志 Azkaban 执行器日志通常位于以下路径: ```plaintext /home/xindaqi/software/azkaban-4.0.0/azkaban-exec-server/logs/ ``` 可以使用 `tail` 命令查看最新的日志条目: ```bash tail -f /home/xindaqi/software/azkaban-4.0.0/azkaban-exec-server/logs/executor.log ``` #### 5. 启动和停止 Azkaban 服务 通过 systemd 管理 Azkaban 服务的启动和停止: ```bash systemctl start azkaban-executor systemctl stop azkaban-executor systemctl restart azkaban-executor ``` 对于 Kubernetes 部署的 Azkaban,可以使用以下命令管理 executor 节点: ```bash kubectl rollout restart deployment azkaban-executor -n azkaban kubectl logs <pod-name> -n azkaban ``` 这些命令适用于多执行节点支持自动伸缩的场景[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值