小9的专栏

本文介绍Hadoop环境搭建和第一个MapReduce程序的运行。

作为开发人员，我们可以暂时忽略集群等部署环境，首要关注开发环境。本文介绍一种可在IDE上运行\调试MapReduce程序的方法，方便程序员尽快开始大数据编程。

本文介绍一个MapReduce案例，对数据集的所有文本行进行去重，以加强对MapReduce-API和工作机制的理解。

本文以最简洁的方式还原《Hadoop权威指南》一书中第一个MapReduce程序，便于后续继续深入了解MapReduce的能力。

默认的HashPartitioner是按hashcode来对key分区的，这会导致数值接近的key无规律散落在各桶中，从而无法做到全局有序。因此我们需要自定义分区器，让桶与桶之内的元素整体有序（桶0整体<桶1整体……<桶29整体）。具体实现在文中，为配合分区算法，我们事先需要求得最大和最小值（因为有负数）。本例实现方式的问题在于：关键值key的数值并非均匀分布在30个桶内，这将导致reduce任务不均衡，

Mapper和Reducer中编写映射和归约的逻辑，而对Job的配置影响着框架如果执行作业。首先我们来了解下Job类的setter方法及含义。Configuration of MapReduce types in the new APIJob setter methodsetInputFormatClass()：输入的数据的格式，默认为TextInputFormat，决定着如何对原始数据切片，也决定

上一章我们用自定义的分区器完成了数据的全局排序，这一章我们将利用hadoop框架提供的API完成同样的功能。主要参考《Hadoop权威指南》第九章。

所谓次排序，是指在最终输出中key关联着一个排好序的value-list，例如这样的需求： /** * 按年份（月份）列出温度，温度升序排列<br> * 年-月 温度1，日期1 温度2，日期2 * 1990-1 -300，day:2 -200,day:1 */思路根据我们掌握的知识，我们知道在reduce之前，数据会按key进行归并，假设我们以年

数据流术语Job一个完整的MapReduce作业称作job，它包括三部分： - 输入数据 - MapReduce程序 - 配置信息 Hadoop工作时会将job分成若干个task：map任务和reduce任务。 The tasks are scheduled using YARN and run on nodes in the cluster. If a task fails, i