Mesos、Omega、Borg(K8S)都是现在工业界中比较流行的集群调度系统。Firemament是OSDI’16发布的集群调度论文,也非常优秀,同时也提供了开源版本。因此这里对这几大调度系统进行一下深入的对比。如有不足或者理解错误的地方,欢迎留言和拍砖
Mesos
Mesos是NSDI发布的集群调度系统,主要面向短作业批处理任务。最核心的贡献我认为是他的两级调度架构,将资源调度和任务调度进行了隔离。轻量级的通用调度架构,保证了很好的可扩展性。
架构
面向日趋多样、快速发展的计算框架,不同的框架都运行在一套集群管理系统中,因此需要一个通用的资源调度框架。在此之前的集群管理调度框架主要是集中式架构。集中式架构的好处当然是能掌握全局的资源状态,能够进行更好的调度决策。但是缺点也很明显。集中式的决策所需的决策时间更长(当然也不一定,要看怎么设计),另外当不同的应用由同一个RM进行调度管理,为了适配不同的应用框架的需求,也要加入对应的各种调度策略,使得RM变得越来越臃肿,可扩展性受到限制。
因此Mesos提出的两级调度策略,将资源调度和任务调度分开。资源调度关注于资源管理,任务调度关注自身的任务调度,各司其职。不同的应用框架只需要实现对应的任务调度器,并注册到资源管理器中,就能够获取资源、运行程序。这使得Mesos的可扩展性非常好,类似于插件化的调度框架。同时也使得Mesos非常轻量。如上图所示,Mesos master、Mesos slave、Framework executo
集群调度系统对比:Mesos、Omega、Borg(K8S)、Firmament

本文对比了Mesos、Omega、Borg(K8S)和Firmament这四大集群调度系统,分析了它们的架构特点和优缺点。Mesos以其两级调度架构实现良好扩展性,Omega采用分布式共享状态架构提高调度效率,Borg以服务角度进行资源管理,K8S强调一切皆服务,Firmament通过图调度实现高质量和快速决策。选择调度框架应考虑已有环境和需求。
最低0.47元/天 解锁文章
3478

被折叠的 条评论
为什么被折叠?



