clamaa的专栏

在Hadoop中一个作业被提交后，其后具体的执行流程要经历Map任务的提交中间结果处理，Reduce任务的分配和执行直至完成这些过程，下面就是MapReduce中作业详细的执行流程图（摘自《Hadoop实战》）。   在整个过程中，客户端中，编写MapReduce代码，配置并提交作业；JobTracker中负责初始化作业，分配作业，与TaskTracker进行通信，协调整个作业的运

Hadoop Settings由于Hadoop节点的系统配置，一些hadoop的设置可以减少运行系统中的瓶颈。首先，提高Java运行时的堆内存容量，也要和系统中的整体内存容量相关；其次，保持hadoop中派生的task数量与处理器数量相关。 一个比较好的规则是一个Reducer或两个Mapper分配一个处理器；如果系统拥有足够多的内存容量，设置Java堆的最大大小为1GB或更大。此外，

本文是董西成《Hadoop技术内幕》一书的读书总结。    MapReduce应用广泛的原因之一就是其易用性，提供了一个高度抽象化而变得非常简单的编程模型，它是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架，在其编程模型中，任务可以被分解成相互独立的子问题。MapReduce编程模型给出了分布式编程方法的5个步骤：迭代，遍历输入数据，将其解析成key/value对；

最近一周都在查项目的各种问题，由于对原有的一个MapReduce分析数据的项目进行重构，减少了运行时的使用资源，但是重构完成后，在Reduce端总是不定时地抛出JVM的相关错误，非常随机，没有发现有什么特殊的规律性。问题在Reduce的控制台显示信息： Exception from container-launch: org.apache.hadoop.util.Shell$ExitC