Yarn公平调度器Fair Scheduler根据用户组分配资源池

假设在生产环境Yarn中，总共有四类用户需要使用集群，开发用户、测试用户、业务1用户、业务2用户。为了使其提交的任务不受影响，我们在Yarn上规划配置了五个资源池，分别为 dev_group（开发用户组资源池）、test_group（测试用户组资源池）、business1_group（业务1用户组资源池）、business2_group（业务2用户组资源池）、default（只分配了极少资源）。并根据实际业务情况，为每个资源池分配了相应的资源及优先级等。

更多精彩内容点我学

ResourceManager上fair-scheduler.xml配置如下：

1. <?xml version=“1.0”?>
2. <allocations>  
3.   <!– users max running apps –>
4.   <userMaxAppsDefault>30</userMaxAppsDefault>
5. <queue name=“root”>
6. <aclSubmitApps> </aclSubmitApps>
7. <aclAdministerApps> </aclAdministerApps>
8.  
9.   <queue name=“default”>
10.           <minResources>2000mb,1vcores</minResources>
11.           <maxResources>10000mb,1vcores</maxResources>
12.           <maxRunningApps>1</maxRunningApps>
13.           <schedulingMode>fair</schedulingMode>
14.           <weight>0.5</weight>
15.           <aclSubmitApps>*</aclSubmitApps>
16.   </queue>
17.        
18.   <queue name=“dev_group”>
19.    &n