分布式调度系统-发展现状

课程链接：阿里云大学_分布式系统开发-调度技术

分布式调度的主要作用

像使用台式机一样使用云计算

分布式调度能将成千上万台硬件的运算能力汇合起来，提供可靠的云计算服务

分布式调度的两大任务

任务调度

在分布式系统中存在大量计算任务，这其中涉及了以下几个问题：

• 任务如何切分？
• 数据如何分割、运算？
• 如何监控运算状态？

资源调度

资源调度属于业务供给方的问题

• 如何平衡业务之间的资源分配？
• 如何支持优先级抢占？

分布式调度系统的比较

Hadoop MapReduce

这是Hadoop 1.X版本中采用的调度系统。

• Job Tracker：即负责资源调度，也负责任务调度
• Task Tracker：负责任务调度，和执行任务

这是一个典型的主从架构，同时其中存在很严重的缺陷：

1. 规模扩展存在瓶颈，最大4000台：因为Task Tracker注册到Job Tracker