Auraros的博客

Yarn5 工作机制和作业提交更多整理都在我的github上：Auraros欢迎大家。Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于操作系统之上的应用程序Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成如所示ResourceManager(RM)1. 处理客户端请求2. 监控NodeManager3

Yarn 通信协议与工作流程更多整理都在我的github上：Auraros欢迎大家。Yarn 通信协议RPC协议是连接各个组件的“大动脉”，了解不同的RPC协议有助于我们更深入的学习YARN框架。在YARN中，任何两个需相互通信的组件之间仅有一个RPC协议，而对于任何一个RPC协议都有一个是Client和一个Server，且Client总是主动连接Server的。Yarn主要由以下几个RPC协议组成：JobClient（作业提交客户端）与RM之间的协议——ApplicationClientPr

Yarn4 RPC框架详解更多整理都在我的github上：Auraros欢迎大家。RPC框架背景网络通信模块是分布式系统中最底层的模块，支撑了上层分布式环境下复杂的进程间通信（Inter-Process Communication， IPC）逻辑，是所有分布式系统的基础。远程过程调用(Remote Produce Call, RPC)是一种常用的分布式网络通信协议。RPC通信模型介绍通信模块两个相互协作的通信模块实现请求-应答协议。负责传递请求和应答，通常为异步方式Stub程序

Yarn 基本架构更多整理都在我的github上：Auraros欢迎大家。​ Yarn是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成两个独立的服务，一个全局的资源管理器RescourceManager 和每个应用程序特有的ApplicationMaster。​ Yarn总体上依然是Mater/Slave结构，在这里，ResourceManager负责对各个NodeManager上的资源进行统一的管理和调度。当用户提交一个程

Yarn 入门概述更多整理都在我的github上：Auraros欢迎大家。Yarn 产生的背景​ yarn产生之前，hadoop主要使用MRv1，在这里我们了解一下MRv1的一些局限性：扩展性差： 在MRv1中，JobTracker同时具备了资源管理和作业控制两个功能，在成为了系统的最大一个瓶颈，严重限制了Hadoop的集群扩展性。可靠性差：MRv1采用了master/slave结构，容易出现单节点故障问题，即master节点出现了故障将会导致整个集群瘫痪不能使用资源利用低：MRv

Yarn7 任务推测执行更多整理都在我的github上：Auraros欢迎大家。任务的推测执行1.作业完成时间取决于最慢的任务完成时间一个作业由若干个Map任务和Reduce任务构成。因硬件老化、软件Bug等，某些任务可能运行非常慢。典型案例：系统中有99%的Map任务都完成了，只有少数几个Map老是进度很慢，完不成，怎么办？2.推测执行机制发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务，同时运行。谁先运行完，则采用谁的结果3.执行推测任务的前

Yarn6 调度器Scheduler更多整理都在我的github上：Auraros欢迎大家。背景： 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。目前，Hadoop作业调度器主要有三种，F