张包峰的博客

本文介绍了DRF算法的背景和特性，并对比最大最小算法，介绍了DRF带权和不带权情况下的资源分配方式。DRF的核心就是最大化所有用户中最小的dominant share，而dominant share在带权和不带权的情况下有不同的计算方式，其实计算都很简单，通过YARN实现的代码也能体现。希望通过本文的介绍，能让读者了解DRF算法的重要性，其与max-min在思路上的继承和优化，并能从YARN和Mesos的实际代码模块中，获得实现思路。

我们使用Mesos也有一段时间了，目前有两个项目使用Mesos作为底层资源管理系统，各自部了一套集群。这中间对比Mesos的论文和源码实现，到底哪些功能实现了，哪些功能未实现，版本是否稳定，使用是否顺畅，有哪些坑会遇到等等这些问题，同组的同事们都遇到了不少。大致总结一下使用过程中的感受吧。Mesos使用方式Mesos Master在给framework分配资源的时候采用的是多资源下的最大最小公平算法，即DRF算法，对于Mesos的第一层调度来说，使用方实现的Scheduler应该实现自己的调度策略和

我觉得资源管理器所要处理的问题无外乎几块：资源分配的策略，资源分配的粒度，资源分配的方式，不同类型任务的调度等。看了Google新一代资源管理器Omega的论文之后，对比Mesos和YARN总结了下面一些内容。其实Google的Omega的实现是很类似于双层调度器的，只是省略了第一层，或者说是进化掉了这第一层，把它变成了一个全局可访问和修改的状态维护起来，增大了并发性。实际意义上的调度器们就类似于双层调度器里的第二层，可以实现自己的调度策略，可以遵循自己的分配方式去执行Task。个人认为增量的分配模式的确

本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。

背景Mesos粗粒度Mesos细粒度背景顺着昨天spark standalone实现那篇文章继续扯淡，看看Mesos Scheduler的两种实现的异同。 对我来说，回过头再仔细看Spark在这一层的实现，思路又清晰了许多。Mesos粗粒度CoarseMesosSchedulerBackend，是mesos的粗粒度scheduler backend实现。简单说一下mesos的Scheduler

顺着昨天spark standalone实现那篇文章继续扯淡，看看Mesos Scheduler的两种实现的异同。对我来说，回过头再仔细看Spark在这一层的实现，思路又清晰了许多。

背景主体逻辑具体实现AMYarnAllocatorExecutor背景Spark on Yarn分yarn-cluster和yarn-client两种模式。 本文通过Cluster模式的TaskScheduler实现入手，梳理一遍spark on yarn的大致实现逻辑。 前提我对两种模式以及yarn任务的整体运行逻辑不是很清楚。主体逻辑cluster模式中，使用的TaskSche

spark在这一块的设计是优秀的。图中，app内的SchedulerBackend是可以针对不同资源管理系统实现的，包括没有画出来的ExecutorBackend。这俩兄弟是典型的面向资源的层次上的抽象。另一方面，app内的TaskScheduler是与Task的分配和执行、管理相关的，这部分与下层面向资源的部分是隔离开的，所谓是面向摆放的。换句话说，SchedulerBackend在1，2，3步之后，已经从集群里，获得了本身app的executors资源。通过它，TaskScheduler可以根据自己的