
yarn
文章平均质量分 79
IT小鸟鸟
抽空整理一下自己学习心得,倒空自己。学点儿新东西,就码出来
展开
-
yarn的一些知识点
yarn的一些知识点1.1、 YARN 概述1.2、原 MapReduce 框架的不足1.3、新版 YARN 架构的优点1.4、 YARN 的重要概念1.4.1、 ResourceManager1.4.2、 NodeManager1.4.3、 MRAppMaster1.4.4、 Container1.4.5、 ASM1.4.6、 Scheduler1.5 yarn的作业执行流程 1.1、 YARN 概述 YARN(Yet Another Resource Negotiator)是一个资源调度平台,负责为运算原创 2020-05-15 11:13:36 · 1711 阅读 · 0 评论 -
yarn 的作业执行流程
yarn 的资源调度过程yarn 架构及各个角色的职责yarn 的作业执行流程另一种解释: yarn 架构及各个角色的职责 yarn 的作业执行流程 1、用户向 YARN 中提交应用程序,其中包括 MRAppMaster 程序,启动 MRAppMaster 的命令、用户程序等。 2、 ResourceManager 为该程序分配第一个 Container,并与对应的 NodeManager 通讯,要求它在这个 Container 中启动应用程序 MRAppMaster。 3、 MRAppMaster 首原创 2020-05-10 10:11:32 · 676 阅读 · 2 评论 -
yarn 的 job 提交过程
yarn 的 job 提交过程各个角色作用: 各个角色作用: resourcemanager的作用 resourcemanager 1)接受客户端的请求 job提交 2)接受mrappmaster的请求 3)进行资源分配和调度 4)接受nodemanager 心跳 5)监控nodemanager 资源使用状况 nodemanager的作用 nodemanager: 1)接受reso...原创 2020-01-07 17:25:08 · 342 阅读 · 0 评论