hadoop
关注
分享
扫一扫
文章平均质量分 86
zhoujq
很懒
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HDFS scalability: the limits to growth 学习笔记
HDFS scalability:the limits to growth笔记HDFS 概览1. HDFS是stand-alone的分布式文件系统的树形结构信息(metadata)由NameNode存储，文件本身存放在众多的DataNode中。原创 2011-07-29 22:33:31 · 1413 阅读 · 0 评论 -
Hadoop调度算法CapacityScheduler源码分析（1）
核心算法流程 当某个tasktracker上出现空闲slot时，调度器依次选择一个queue、（选中的queue中的）job、（选中的job中的）task，并将该slot分配给该task。下面介绍选择queue、job和task所采用的策略：（1）选择queue：将所有q原创 2011-08-31 22:45:59 · 3514 阅读 · 0 评论 -
Hadoop调度算法CapacityScheduler源码分析（2）
（3）CapacityTaskScheduler类核心成员变量：TaskSchedulingMgr mapScheduler = new MapSchedulingMgr(this);Map任务的调度器TaskSchedulingMgr reduceSchedul原创 2011-09-02 09:33:53 · 1921 阅读 · 0 评论 -
NameNode存储的主要信息
NameNode存储的信息在FSNamesystem的开头注释中有一段文字：/*************************************************** *FSNamesystem does the actual bookkeeping w原创 2011-08-08 17:11:09 · 3790 阅读 · 0 评论 -
7 Tips forImproving MapReduce Performance
7 Tips forImproving MapReduce PerformanceOne servicethat Cloudera provides for our customers is help with tuning and optimizingMapReduce j转载 2011-08-19 10:57:21 · 900 阅读 · 0 评论