ThreeAspects的博客

目录Container启动源码分析Yarn资源参数设置Container启动  Container启动命令是由各个ApplicationMaster通过RPC函数ContainerManager.startContainer()向NodeManager发起的，Container启动过程主要经历三个阶段：资源本地化、启动并运行container、资源回收。其中，资源本地化指创建container工作目录，从HDFS下载运行container所需的各种资源（jar包、可执行文件等）等，而资源回收则是资源本地

Yarn框架Yarn的主从结构Yarn的内置调度器Yarn的工作流程  YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn的主从结构Yarn 资源管理器（ResouceManager）：协调集群计算资源的分配，主要接收客户端任务请求，接收和监控NodeManager的资源情况汇报，负责资源的分...

关于Yarn的一些常见问题Yarn三种调度策略Yarn抢占Yarn三种调度策略  理想情况下，应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的是Scheduler。在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Sche...

  在现实情况中，用户代码错误不断，进程奔溃，机器故障等等。使用hadoop的好处之一就是可以它能处理这类故障并成功完成任务。需要考虑的实体失败任务为：任务（job），Application Master，NodeManager和ResourceManager。任务失败可能存在以下情况：MapTask或者ReduceTask中由于代码原因抛出异常，jvm在关闭之前，会通知mrAppMast...