超级会员免费看
本文深入介绍了Hadoop的三种任务调度器：FIFO、Capacity和Fair。FIFO调度器遵循先进先出原则，简单但可能导致高优先级任务受阻。Capacity调度器支持资源队列，确保容量保证和多租户共享。Fair调度器旨在让所有任务平均获取资源，实现集群资源的公平分配。选择调度器应根据业务需求和资源利用率考虑。
Hadoop 任务调度器
Hadoop 是一个可以高效处理大数据量的分布式集群，并且支持多用户多任务执行。在 Hadoop1.0 版本有一个调度器是集成在 JobTracker 里面，对于传统的 Hadoop 批处理任务（日志挖掘、Web 页面索引），这种调度器是比较合适的，但这种调度器并不具备可扩展性。在Hadoop早期版本是以一种比较简单的方式对任务进行调度的，即FIFO调度器，它是按任务的提交顺序来调度任务的，并且可以使用 mapred.job.priority 配置或者利用 JobClient 的 setJobPriority() 方法设置任务调度优先级。调度器会根据优先级来调度任务，但这个优先级的设置其实并不支持资源抢占，因此如果一个长时间运行且优先级较低的任务比高优先级任务先调度的话，将会对高优先级任务造成阻塞。
Hadoop支持3种调度器：FIFO调度器、公平调度器（Fair Scheduler）、容量调度器（Capacity Scheduler）
FIFO调度器
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
