小忍大乱的专栏

Job类中实现了InvocationHandler 接口的是 Invoker, 这种语法是java语言对代理模式的一种支持，最终对对象的调用都会成为对代理的调用。下面看看真正的处理代理的代码Invoker。private static class Invoker implements InvocationHandler { private InetSocketAddress address; private UserGroupInformation ticket; privat

为了不遗忘和可以速查源码，准备重新读一遍Hadoop的MapReduce部分的源码，记录下来，尽量详细点。如要转载,请标明出处。写MapReduce程序首先接触的是Job类，Job类是管理一个集群作业的类，包含了一个作业的所有信息和向集群提交作业的方法。如图所示，它有以上一些方法，我们写程序是调用waitForCompletion()方法，方法实现如下： public boolean waitForCompletion(boolean verbose

Hadoop继承了Google的MapReduce的特性，具有map任务最大化本地化的能力，下面具体说下它是如何做到的。在hadoop中，有很多taskScheduler，这里以默认的JobQueueTaskScheduler为例来说明。下面是assignTask的源代码 //@Override public synchronized List assignTasks(TaskTrackerStatus taskTracker) throws IOException { Clu

//需要看图的m我 MapReduce On Stream Processing   Tao Chen, DongDai, Yuchao Huang, Xuehai Zhou University of Scienceand Technology of Chi