azkaban jmx扩展指标

azkaban历史任务执行数据堆积会影响查询效率

azkaban-exec内存泄露问题解决

1、问题描述先说下我们生产环境的部署情况azkaban-exec部署在prod11、prod12两台机器上，这两台都是物理机，同时还不部署了namenode、resourcemanafer、historyserver、hiverserver、metastore等正常情况应该是两个azkaban-exec节点都能执行任务，但是昨天发现居然只有一个节点在执行任务可以通过执行sql语句进行验证：select * from executors; +----+----------------------

azkaban-web启动类为AzkabanWebServer直接启动main方法是起不来的，1、首先JVM参数添加log4j配置，不然会报StackOverflowError异常-Dlog4j.configuration=file:///D:\data\azkaban_conf\log4j.propertieslog4j没配置导致StackOverflowError异常，猜测是因为main方法第一行调用了StdOutErrRedirect.redirectOutAndErrToLog()方法，把控

azkaban-web只能单点部署，因此考虑使用supervisor来启动azkaban-web，即使进程意外挂掉，也能自动重启。supervisor的基本使用参考：https://blog.youkuaiyun.com/li281037846/article/details/1219535890.使用supervisor启动azkaban的时候有几点要注意的：（1）azkaban不能用后台进程启动（2）command不能包含多条shell命令，比如command=echo 111 && sh

上传时页面报Instalation FailedError Chunking during uploading files to db查看web-server日志：2021/11/26 11:20:38.253 +0800 INFO [ProjectManagerServlet] [Azkaban] Installation Failed.azkaban.project.ProjectManagerException: Error Chunking during uploading files .

azkaban的web-server模块，除了提供管理页面配置，还是定时任务的触发入口，但是官方文档却没有说明是否可以多节点部署(exec-server有明确说能多节点部署)。看网上有人说azkaban的定时任务是基于Quartz的，可以进行多节点部署，于是试了一下，发现根本不行(3.81.0版本)。启动两个节点会导致定时任务重复执行两次。查看github issue，发现确实是设计不支持。然后去看源码，发现默认定时任务根本不是Quartz。。。数据库里面Quartz相关的表都没数据的。不过确实有个参