azkaban安装及问题

解决运行脚本提示"/bin/bash^M: bad interpreter"错误

在调试某个脚本运行的时候有提示"/bin/bash^M: bad interpreter: No such file or directory"这样的错误提示，原本以为是不是脚本中注释部分没有生效，以及检查空格问题。但是依旧还是这样子，后来想到是不是在WIN系统中的文件编译编码的问题。

然后查阅文档后原来真是编码格式的问题，需要通过转换格式后才可以执行，这里可以用到dos2unix编码格式转换工具，默认系统中没有安装，这里我们直接yum安装。

yum install dos2unix -y

安装完毕之后，我们再去执行脚本转换文件编码格式。

dos2unix 文件名

然后再去执行文件就没有问题。

./util.sh: line 5: $'\r': command not found

脚本出现以上的问题，是由于我们的软件是在windows上编译的，在linux下使用有问题，需要以下命令更正

dos2unix 文件名

　接着，出现，这界面怎么这么丑，跟平常不一样。

这个问题是由于我们的配置文件所有的路径应该给出绝对路径，而不是给出相对路径，就会解决

启动azkaban时出现User xml file conf/azkaban-users.xml doesn't exist问题解决

这个问题就是我们需要在conf下建立azkaban-user.xml 文件，然后在配置文件中给出绝对路径即可

报错：Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "main"

缺少log4j.properties 
解决办法： 
在Azkaban-web-server 的conf目录下创建文件夹conf/log4j.properties： 
写入以下内容

log4j.rootLogger=INFO,C
log4j.appender.C=org.apache.log4j.ConsoleAppender
log4j.appender.C.Target=System.err
log4j.appender.C.layout=org.apache.log4j.PatternLayout
log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

出现缺少azkaban-users.xml文件，应该在目录下自己加入文件，然后文件下填如下内容即可

<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>


        <user username="admin" password="admin" roles="admin,metrics" />
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>

</azkaban-users>

启动成功后，job不能执行，出现以下错误

11-04-2018 15:37:58 CST start INFO - Starting job start at 1523432278487
11-04-2018 15:37:58 CST start INFO - azkaban.webserver.url property was not set
11-04-2018 15:37:58 CST start INFO - job JVM args: -Dazkaban.flowid=ktr -Dazkaban.execid=5 -Dazkaban.jobid=start
11-04-2018 15:37:58 CST start INFO - Building command job executor. 
11-04-2018 15:37:58 CST start INFO - Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job start, sleep for 60 secs and retry, attempt 1 of 720

[解决]azkaban执行错误 Job failed, Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job

azkaban默认需要3G的内存，剩余内存不足则会报异常。

配置文件，设置

azkaban-exec-server-2.7.0/plugins/jobtypes/commonprivate.properties

[plain]  view plain  copy

1. memCheck.enabled=false