白话大数据开发之Azkaban问题一

最新推荐文章于 2022-09-08 17:50:42 发布

原创最新推荐文章于 2022-09-08 17:50:42 发布 · 468 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据

当使用Azkaban执行Spark任务时，如果任务一直显示为running状态，可能是因为执行主机内存不足。日志中提示'Cannot request memory(Xms0kb,Xmx0kb) from system for job job1...'表明此问题。解决办法是在Azkaban的jobtype目录下，修改commonprivate.properties文件，添加'memCheck.enabled=false'，禁用内存检查，然后重启Azkaban服务。

AI助手已提取文章相关产品：

白话大数据开发之Azkaban问题一

问题描述：- 作为任务调度工具，执行spark任务时，一直处于running状态**

如果在提交Azkaban时出现任务一直运行running状态，执行不完成，查看azkaban webui日志发现“Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job job1, sleep for 60 secs and retry, at… …”问题，

原因分析：是执行主机内存不足引起，azkaban要求执行主机可用内存必须大于3G才能满足执行任务的条

问题解决：**在…/azkaban-exec/plugins/jobtype目录下，配置commonprivate.properties文件，在文件中加入“memCheck.enabled=false”，不检查内存即可，重启azkaban。

您可能感兴趣的与本文相关内容