在执行Hive的Tez引擎任务时遇到Map和Reduce任务始终挂起的问题。通过检查ApplicationMaster的container日志，发现涉及CPU资源的参数如`mapreduce.map.cpu.vcores`等设置不当。解决方案是将`hive.tez.cpu.vcores`参数在Ambari上设置回默认值或设为1。进一步测试表明，`mapreduce.reduce.cpu.vcores`和`yarn.scheduler.minimum-allocation-vcores`对Tez任务无效。
问题描述
在Hive中使用Tez计算引擎执行SQL任务时，Map和Reduce都处于Pending状态。
解决思路
查看任务的ApplicationMaster的container日志如下：
2016-09-13 17:14:52,103 [INFO] [DelayedContainerManager] |rm.YarnTaskSchedulerService|: Releasing held container as either there are pending but unmatched requests or this is not a session, containerId=container_e14_1473755328049_0004_01_000002, pendingTasks=1, isSession=true. isNew=true
2016-09-13 17:14:52,350 [WARN] [AMRM Callback Handler Thread] |rm.YarnTaskSchedulerService|: He
最低0.47元/天 解锁文章
扫一扫
747
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
