本文介绍了Hadoop升级至CDH5后，队列管理变为资源池分配的方式。在Hadoop 2.0中，采用平级队列组织，允许管理员将用户分配到多个队列并进行管理。为了有效分配资源，需要借助作业调度器。线上环境通常设置多个队列，如default, queue1, queue2和queue3。通过在代码中配置`mapred.job.queue.name`，可以指定队列运行程序。此外，配置`mapred.acls.enabled`等属性来控制提交作业和管理作业的权限。每个队列的资源量和其他信息则在其他配置文件中定义。"
132990910,20038166,2017年物联网中的Linux内核开发进展,"['物联网', 'Linux', '运维']
hadoop 升级到cdh5后，队列管理被取消，而是统一用资源池分配。
hadoop2.0版本，Hadoop采用了平级队列组织方式，，管理员可将用户分到若干个扁平队列中，在每个队列中，可指定一个或几个队列管理员管理这些用户，比如杀死任意用户的作业，修改任意用户作业的优先级。
但这还不够，需要将资源划分到这几个队列中，并按照一定的策略完成资源分配，这就需要Hadoop作业调度器的支持。
总之，在Hadoop中，队列的组织是队列管理和资源分配的基础。
线上环境，设置成三个队列，分别是default，queue1，queue2，queue3。
在编写代码时，设定
Configuration
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
3239
