超级会员免费看
本文详细介绍了如何配置Hadoop3.x中的公平调度器，包括创建test和atguigu队列，修改yarn-site.xml和fair-scheduler.xml文件，以及配置各项参数以确保资源公平分配。通过实例演示了任务提交到指定队列的过程，有助于理解公平调度器的工作原理。
然后我们来看公平调度器,公平调度器是,大型企业公司要用的,所以非常重要,然后
我们来看需求:
可以看到我们公平调度器默认也是有个default队列,我在添加两个队列,一个test,一个atguigu,然后
用户提交任务时指定了队列,就提交到对应队列,如果没指定,这时如果是test用户提交的任务,就提交到root.group.test队列,如果
是atguigu用户提交的任务,就提交到root.group.atguigu,当然可以看到也可以配置到什么组对吧.可以配置到组.
然后配置的时候,需要配置yarn-site.xml这个文件,这个之前我们用过
然后,公平调度器队列的配置文件,需要用fair-scheduler.xml,这个文件是没有的,这个需要我们自己创建,因为
系统已经有默认
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
