Arthur-Chen的专栏

在MapReduce中，map和reduce函数的输入和输出都是键值对（key/value）。1. MapReduce函数的常规格式MapReduce的函数一般遵循以下常规格式：map：（K1, V1）—> list（K2，V2）combine：（K2，list(V2)）—> list（K2，V2）partition：（K2，V2）—> integerreduce：

MapReduce的状态和进度

早期的作业调度使用FIFO（First In First Out）调度算法，可以设置属性mapred.job.priority或者JobClient的setJobPriority( )方法来设定作业优先级，可配置的优先级有5个：VERY_HIGH, HIGH, NORMAL, LOW, VERY_LOW。       除了FIFO调度器之外，还有两个多用户调度器，分别是Fair Schedul

MapReduce的运行过程如下图所示：

1. 定义       shuffle是指map任务输出到reduce任务输入的过程。2. 目的       在Hadoop集群中，大部分map任务与reduce任务在不同的节点执行。因此，reduce任务在执行时需要跨节点去获取map的输出结果。如果集群上有很多作业，那么网络资源消耗会很严重，需要最大化减少不必要的资源。另外，如果map的输出和reduce的输入只是简单的磁盘

1. 在Eclipse中使用hbase和hadoop时遇到以下bug：

本文详细介绍Hadoop2.2.0和HBase0.96的伪分布式安装。在开始安装之前，先看Hadoop和HBase对应的版本支持，帮助入门的朋友少走弯路，避免版本不同导致安装失败的问题。