
mesos
YARN_weizai
帝都coder,男儿当自强!
展开
-
Mesos的架构设计
Mesos中包含四类主要的服务(实际上是一个socket server),它们分别是Mesos Master,Mesos Slave,SchedulerProcess和ExecutorProcess,它们之间通过Protocal Buffer消息进行通信,每种服务内部注册了若干种Protocal Buffer消息处理器,一旦收到某种消息,则会调用相应的消息处理器进行处理。除了以上四种服务之外,Me...转载 2018-04-10 13:52:46 · 2150 阅读 · 0 评论 -
Apache Mesos的任务分配过程分析
Apache Mesos的任务分配过程分析,见下图: 步骤1 当出现以下几种事件中的一种时,会触发资源分配行为:新框架注册、框架注销、增加节点、出现空闲资源等;步骤2 Mesos Master中的Allocator模块为某个框架分配资源,并将资源封装到ResourceOffersMessage(Protocal Buffer Message)中,通过网络传输给SchedulerProce...转载 2018-04-10 16:09:35 · 322 阅读 · 0 评论 -
scheduler与executor向mesos注册过程
本文以Hadoop框架为例,介绍了framework与executor向mesos注册过程。 1. Framework注册过程 (1) JobTracker启动时,会调用MesosScheduler的start()方法 (2) MesosScheduler的start()方法创建一个MesosSchedulerDriver对象,并将自己作为参数传入该对象。 (3) MesosSchedul...转载 2018-04-10 16:21:27 · 597 阅读 · 0 评论 -
Apache Mesos模块间通信架构
介绍 Mesos主要由四种组件组成,分别是mesos-master,mesos-save,scheduler和Executor,各个组件之间采用了基于protocal buffer的actor model进行通信(采用开源库libprocess)。也就是说,各个模块分别是一个server(实际上是socket server),分别监听来自其他模块的消息,一旦收到某个消息后,便会调用相应的消息处...转载 2018-04-10 16:33:55 · 1165 阅读 · 0 评论