azkaban的executor的分布式(集群)部署

本文介绍了Azkaban分布式部署的具体步骤,包括配置azkaban.properties文件启用多个执行器、激活数据库中的执行器以及正确设置执行器所在机器的/etc/hosts和/etc/hostname文件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近在做azkaban的二次开发被azkaban的executor的分布式部署虐了一会儿,遇到问题时在网上也找不到解决方法,于是搞好之后决定写下了大体的做法:

azkaban本身是默认不支持分布式的executor的要想让其支持分布式的执行器首先得现在web服务器的配置文件azkaban.properties下面增添一行

azkaban.use.multiple.executors=true

这是最基本的配置了

然后当你的执行器开启之后要在数据库中手动把executor表里的所有要用的执行器的active字段置为1,这表示它们是可用的

最后很重要也是如果出错很难追溯的一点,你部署执行器的机器(我是在Linux下部署的)的/etc/hosts和/etc/hostname里一定要写好对应的关系,web-server部署的机器的/etc/hosts里得有所有执行器部署在的机器的ip和主机名映射,这样它才能找得到所有的执行器~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值