Hadoop权威指南4
第4章 关于YARN
Apache YARN(Yet Another Resource Negotiator)是Hadoop的集权资源管理系统。
4.1 剖析YARN应用的运行机制
4.1.1 资源请求
YARN有一个灵活的资源请求模型。当请求多个容器时,可以指定每个容器需要的计算机资源数量(内存和CPU),还可以指定对容器的本地性限制要求。
Spark在最开始提出所有资源的请求。MapReduce分为两步,最开始请求map任务的容器,reduce任务容器在后期申请。
4.1.2 应用生命期
- 一个用户作业对于一个应用,如MapReduce
- 作业的每个工作流或每个用户对话(可能并无关联性)对应一个应用,如Spark
- 多个应用共享一个长期运行的应用,如Apache Slider
4.1.3 构建YARN应用
从无到有编写一个YARN应用是一件相当复杂的事。有很多现成的应用。如Spark、storm等等都写好的应用