yarn sls源码的理解与schedule.xml配置实验

最新推荐文章于 2022-04-29 15:37:32 发布

snowleafzf

最新推荐文章于 2022-04-29 15:37:32 发布

阅读量568

点赞数

CC 4.0 BY-SA版权

分类专栏： yarn 文章标签： yarn sls hadoop

本文链接：https://blog.youkuaiyun.com/snowleafzf/article/details/83993815

yarn 专栏收录该内容

3 篇文章

订阅专栏

本文深入探讨了SLS模拟器的使用方法，包括如何通过不同参数设置进行模拟，以及SLSRunner的Java源码流程。同时，详细解析了YARN中的三种调度器：FIFO、Capacity和Fair调度器的工作原理及配置方法。

part1.

slsl测试时的语句

echo "!!!!!!!into autoSubmitJobs.sh"
dir=/usr/local/hadoop/share/hadoop/tools/sls
rm -rf $dir/my-logs
mkdir $dir/my-logs
rm -rf /usr/local/hadoop/share/hadoop/tools/sls/yumh-err.txt

bin/slsrun.sh --input-sls=$dir/my-input/sls-jobs.json --nodes=$dir/my-input/sls-nodes.json --output-dir=$dir/my-logs/ --track-jobs=job1_Siyi,job2_Siyi,job3_Siyi --print-simulation

--input-rumen: 输入是rumen trace文件，示例为/share/hadoop/tools/sls/sample-data/2jobs2min-rumen-jh.json.

--input-sls: 输入是sls自己的格式文件，sls file。sls提供了一个工具来将rumen traces文件转换为sls trace：rumen2sls.sh（/share/hadoop/tools/sls/bin/）。关于SLS输入JSON文件的示例，见最后。

--output-dir: 输出监控数据和日志的目录

--nodes: 集群的拓扑结构，默认情况下，sls采用input json file中的拓扑，用户也可以指定一个新的拓扑结构。

--track-jobs: 在模拟器运行过程中跟踪的特定任务，由逗号分隔。

--print-simulation: 该参数决定了是否在模拟器运行前打印仿真信息，包括每个应用程序的节点、应用程序、任务和信息的数量。如果需要，只需要添加上该参数即可。

参考原文：https://blog.youkuaiyun.com/hahachenchen789/article/details/80748920

part2

slsrunner，Java源码流程：（如果想看完整的：https://blog.youkuaiyun.com/hahachenchen789/article/details/81050621）

首先添加option(string opt,string longOpt,boolean hasArg,string description)

选项名，选项全称，是否有参数，描述

添加好后，传入参数，start。

start方法中，依次开启rm，nm，am，所有node正常运行之后，开启runner。

startRM：

通过YarnConfiguration获得yarn-site.xml中参数，从中得到schedule方案（fifo，capacity或者fair，默认fair）

然后通过RM自身的init和start开启RM。

startNM：

nodeResourceMap = SLSUtils.parseNodesFromNodeFile从--nodes参数获得的nodes机架配置文件nodeFile和nodeManagerResource作为参数，获得Node的所有参数。在此之前，SLSrunner中的init从sls-runner.xml中获得每个Node的mem和cpu信息。

startAM：

选择输入的格式会有对应的函数，这里看下sls：startAMFromSLSTrace

通过while循环，每一个job会调用createAMForJob函数。

从sls-jobs.json中获得jobStartTime，jobFinishTime。user，queue，amType等信息。

然后调用runNewAM函数开启AM，将上面的参数信息传递过去。

将sls-jobs.json中某个具体jobs下的task任务以container的形式分配出来，有多少个task，list就有多大。

然后将tasks一一取出，通过for循环来为每一个分配container。

在循环中，先是获得task的信息，比如start，end 时间，优先级，task类型（map）。然后将这些信息收集起来，传递给getResourceForContainer函数，来申请container。

循环最后，将申请的资源res加入到待分配container list中。

by： https://blog.youkuaiyun.com/hahachenchen789/article/details/81050621

在yarn-site.xml中修改默认的schedule

<property>
<name>yarn.resourcemanager.scheduler.class</name>


<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

对于容量调度器，可以通过设置yarn.scheduler.capacity.node-locality-delay来配置延迟调度。设置为正整数，表示调度器在放松节点限制、改为匹配同一机架上的其他节点前，准备错过的调度机会的数量。

fair-schedule内的权重那些参数好像是可以随时改变随时生效的：（偶然发现在改变xml时一保存allocated memory就马上发生了变化）

capacity-schedule不能随时改。。。这个继续实验下看看

<property>
<name>yarn.scheduler.capacity.node-locality-delay</name>
<value>40</value>
<description>
Number of missed scheduling opportunities after which the CapacityScheduler
attempts to schedule rack-local containers.
Typically this should be set to number of nodes in the cluster, By default is setting
approximately number of nodes in one rack which is 40.
</description>
</property>

fair-schedule中的配置：

经过测试发现weight的数值*最小资源的值就是最大的分配的值？？？

（如果有问题请务必留言，多谢）

<queue name="queueA">
           <weight>5</weight>
           <minResources>1024 mb,1 vcores</minResources>
           <schedulingPolicy>fifo</schedulingPolicy>
</queue>

capacity-schedule：

经测试发现后面的max为100的时候才会把资源全部分配出去，如果都是50的话则会一半。

<property>
<name>yarn.scheduler.capacity.root.queueA.capacity</name>
<value>50</value>
<description>Default queue target capacity.</description>
</property>
<property>
<name>yarn.scheduler.capacity.root.queueB.capacity</name>
<value>50</value>c
<description>Default queue target capacity.</description>
</property>

<property>
   <name>yarn.scheduler.capacity.root.queueA.maximum-capacity</name>
   <value>100</value>
</property>
<property>
   <name>yarn.scheduler.capacity.root.queueB.maximum-capacity</name>
   <value>100</value>
</property>