
yarn
learnbigger
终身学习者
展开
-
yarn资源管理的控制
yarn如何隔离资源?1,在操作系统上的进程运行所需要的资源没有比操作系统自身更清楚的了,所以在/proc/{pid} 下就有各个进程的资源情况,yarn只需要读取分配给container进程的资源信息即可。2,yarn的资源就是指cpu和内存。3,cpu主要影响进程运行的快慢,yarn主要通过cgroup技术来做限制,需要使用jni调用native c代码完成。4,内存决定进程的...原创 2019-10-14 10:37:27 · 376 阅读 · 0 评论 -
mapreduce1和mapreduce2架构对比
mr1,jobtracker-tasktracker,既要管mr作业,还要管资源调度,分身乏术,所以在各个node的资源基本采取的是固定分配mr2 yarnrm-nm这条线统一协调总的和各个节点自己的计算和硬件资源appmanager-appmaster 管理各个计算程序单元,可能是各种任务Container 统一把集群资源分成若干份,然后相互隔离开,供计算程序使用,可能是多个container供...转载 2018-04-28 11:28:13 · 1569 阅读 · 0 评论