《Hadoop权威指南4》第4章 关于YARN

第4章 关于YARN

Apache YARN(Yet Another Resource Negotiator)是Hadoop的集权资源管理系统。
在这里插入图片描述

4.1 剖析YARN应用的运行机制

在这里插入图片描述

4.1.1 资源请求

YARN有一个灵活的资源请求模型。当请求多个容器时,可以指定每个容器需要的计算机资源数量(内存和CPU),还可以指定对容器的本地性限制要求。
Spark在最开始提出所有资源的请求。MapReduce分为两步,最开始请求map任务的容器,reduce任务容器在后期申请。

4.1.2 应用生命期

  • 一个用户作业对于一个应用,如MapReduce
  • 作业的每个工作流或每个用户对话(可能并无关联性)对应一个应用,如Spark
  • 多个应用共享一个长期运行的应用,如Apache Slider

4.1.3 构建YARN应用

从无到有编写一个YARN应用是一件相当复杂的事。有很多现成的应用。如Spark、storm等等都写好的应用

4.2 YARN与MapReduce1相比

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值