alain898的专栏

TaskDistributedCacheManager：管理的是单独一个job的缓存文件（cached files） TrackerDistributedCacheManager：管理的是一个TaskTracker中由所有job共享的缓存文件

generateNewIdentifier()返回系统当前时间字符串，如"201307032019" metrics system ：度量系统，是用于计量某个事物的各个可测量属性的多个计量单元的集合。而在HADOOP中这个“事物”是指JVM。每一个JVM都有且仅有一个MetricsSystem的实例，就是DefaultMetricsSystem中的单例“INSTANCE”。而每一个JVM中都

在Hadoop1.1.2中，Mapper.java中的Mapper并不是一个接口，而是一个类；但是其作用就是一个接口，Mapper类是这个接口的默认实现； 我们在写自己map-reduce应用时，需要按照自己的需求实现自己的MyMapper类，我们实现的MyMapper类就必须是继承自这个Mapper类。 从源代码来看，原理如下所示： 在MapTask.java的runNewMapper函数

转载自http://blog.youkuaiyun.com/chlaws/article/details/8479627 0.20.x是历史稳定版 0.23.x是根据0.20.x的稳定版引入了federation和yarn,但缺少NN和HA 1.0.x是当前稳定版，但和0.20.x系列差不多，只不过有些优化改进 1.1.x是beta版 2.0.x 现在是alpha版，有yarn和federati

前两天读hadoop的源码，看到其中JMX部分用到了Bean的概念，于是到网上查了些关于Bean的资料。结果呢，尼玛找了些关于EJB（enterprise java beans）的资料，以为带个java、带个bean字样就是javabean了。后来看了半天发现EJB这货压根不是我期望学习的资料。然后，将错就错吧，找了《enterprise java beans3.0中文版》这本书，读到了一些关于W

int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException,       InterruptedException, ClassNotFoundException {     Configuration conf = job.getConfiguration();     InputFormat input

大写的FS表示“分布式文件系统” map任务中，merge的排序算法 首先，在map任务产生的所有中间文件（即IFile格式文件）中，选择文件大小最小的io.sort.factor（即源代码中的factor变量）个文件，然后将代表这些文件的Segment实例化对象各自作为一个节点，建成一个“小顶堆”。而对这个小顶堆中各个节点排序的比较方法，实际上就是在比较各个Segment第一个键值对

//这是hadoop1.0.4中LineRecordReader.java中的一段代码  public void initialize(InputSplit genericSplit,                          TaskAttemptContext context) throws IOException {     FileSplit split = (F

HeartbeatResponse transmitHeartBeat(long now) throws IOException {     // Send Counters in the status once every COUNTER_UPDATE_INTERVAL     boolean sendCounters;     if (now > (previousUpdate + CO

下面是在TaskTracker上进行作业本地化的过程： （注意Task与TaskTracker是运行在同一个节点上的，因为Task所在的JVM是由TaskTracker启动的） // intialize the job directory   RunningJob localizeJob(TaskInProgress tip)    throws IOException, Interrup

Subject ：表示一个用户（人或程序） Principals ：既可以代表一个用户的各种“身份证件（即identity）”，也可以代表一个用户的各种“身份角色(即role)”