
作业调度器
azhao_dn
关注hadoop 数据挖掘
展开
-
Hadoop公平调度器指南
转载自:spork的博客,原文地址 最近看到调度器这一块,发现Hadoop官方文档中有关公平调度器(Fair Scheduler Guide)和容量调度器(Capacity Scheduler Guide)部分的文档还没有汉化,Google了下也未发现有相关汉化,So,我班门弄斧,抛砖引玉一下了。这里先奉上公平调度器的中文版。由于我一直用Cloudera Hadoop 0.20.1+152的转载 2011-11-16 10:27:56 · 2309 阅读 · 0 评论 -
Hadoop公平调度器算法解析
转载自董的博客 1. 目的 本文描述了hadoop中的公平调度的实现算法,公平调度器是由facebook贡献的,适合于多用户共享集群的环境的调度器,其吞吐率高于FIFO,论文参见参考资料[1]。本文分析的Hadoop版本是0.20.2,在新版本(0.21.0)中,公平调度算法已经有了改进与增强。本文组织结构如下:1)目的 2)公平调度介绍 3)公平调度算法分析 4)新版hadoop转载 2011-11-15 18:59:48 · 2473 阅读 · 2 评论 -
使用CapacityTaskScheduler
转载自:逖靖寒的博客,查看原文 Hadoop的版本为0.19.2 关于这个调度的详细介绍,可以参考:http://hadoop.apache.org/common/docs/r0.19.2/capacity_scheduler.html 本文只介绍如何搭建一个CapacityTaskScheduler的系统。 在Master机器上执行如下操作: 1 将contrib/capa转载 2011-11-16 10:05:30 · 1011 阅读 · 0 评论 -
Hadoop Job Scheduler作业调度器
转载,原文连接 作者:hovlj_1130 | 可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明 http://hi.baidu.com/hovlj_1130/blog/item/fb84dd1e3558d8f8e0fe0b8e.html Hadoop Job Scheduler Hadoop的作业调度器,可以以插件的方式加载,常见的作业调度器有转载 2011-11-16 11:16:49 · 2482 阅读 · 0 评论