大数据之-Hadoop3.x_Yarn_总结---大数据之hadoop3.x工作笔记0157

这段时间我们学习了yarn,我们来总结一下

首先yarn的工作机制要很清楚:

1.首先我们说有个yarn的客户端,有个resourcemanager

2.yarn的客户端就是我们说的那个waitforcomplecation,他就会,像resourcemanager,去请求,

3.然后resourcemanager就会返回一个信息,就说,没问题,你把你要执行的内容,放到这个路径把,然后返回了个集群路径

4.然后yarn的客户端也就是我们写的程序,被yarnrunner执行的时候,他就会向给的集群路径,放上xml,切片和jar包,

其中xml,是说这个job要按照这个xml的配置去执行,然后,切片决定了,要开启多少个maptask,然后jar包是执行的任务.

5.然后yarnrunner放完了,文件以后就会给resourcemanager发个请求,就说我文件放好了,然后我要开始请求启动一个

   mrappmaster来运行任务了.

6.这个时候resourcemanager收到请求以后会把请求放到队列中去,因为同时会有很多请求,到resourcemanager这里

7.然后等在队列中的这个任务,轮到他运行的时候,就会有个nodemanager获取到这个任务,他一看让他去创建一个mrappmaster,他就去创建个mrappmaster,当