Mesos分布式资源管理框架

一、什么是Mesos

Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。

二、出现背景

随着互联网的发展，各种大数据计算框架不断出现，支持离线处理的MapReduce、在线处理的Storm，迭代计算框架Spark、及流式处理框架S4……各种分布式计算框架应运而生，各自解决某一类应用中的问题。而在互联网公司中，几种不同的框架都可能会被采用。考虑到资源的利用率、运维成本、数据共享等因素，我们往往会把不同的计算框架部署到一个公共的集群中，使其共享集群资源，而不同任务往往需要的资源（CPU、内存、网络I/O等）不同，它们运行在同一个集群中不免会相互干扰、资源竞争导致效率低下，因此就诞生了资源统一管理与调度平台，两个典型代表---Mesos和Yarn。

三、框架

1. 总体框架

同其他分布式系统一样，Apache Mesos也采用了Master/Slave结构，为解决Master单点故障，将Master做的尽可能轻量级，Master上所有元数据可以通过各个Slave重新注册进行重构，并通过Zookeeper进行维护管理实现Master的高可用性。其总体架构图如下所示：<