云时代架构

1.1 创建客户化的Mapper和Reducer 正如你所见，MapReduceIntro类中你的第一个Hadoop程序产生了排序的输出，但是，因为作业的关键字是数字的，这个排序不是你所期望的，因为它按照字符排序，而不是按照数字排序。现在，我们看看如何使用客户化的Mapper进行数字排序。然后我们会看看如何使用客户化的Reducer输出一个容易解析的格式的内容。 1.1.1 设置客户化的Mapper 进行数字排序听起来并不难。现在我们把输出的关键字设置为框架提供的另外一个LongWritable类型：

1 初识Hadoop 一个独立的低端硬件通常不能满足应用程序对资源的需求。许多企业发现他们的业务流软件并不是安装在一台成本效益较好的计算机上。对于他们来说，一个简单的解决方案就是购买具有更多内存和CPU的高端硬件，这通常需要巨额资金。这个解决方案能够达到理想的效果只要你能买到最高端的硬件，但是通常来说，预算是最主要的问题。我们有另外一个可选方案，那就是构建一个高性能的集群。一个集群能够模拟成为一个单个计算机，然而，它需要专业的安装和管理服务。现今，存在着许多专有的高性能的并且造价昂贵的集群。 幸运的是，

云计算是一个越来越流行的分布式计算技术，Hadoop是云计算的开发平台(PAAS)，于是，我已经学习有一段时间了，先后看了如下两本相关书籍，Hadoop: The Definitive Guide Apress Pro Hadoop在网络上搜索了一下，前者已经有出版社翻译成中文版，但是，后者却没有，于是，萌生一个念头，把第二本书翻译成中文，希望能对大家有所帮助。这本书大约有400多页，计划每天翻译5页，需要80天，排除很多天不能抽出时间进行翻译，保守估计需要半年时间，希望大家关注，也感谢大家的支持。

1.1 Hadoop介绍 Hadoop是阿帕奇软件基金下的顶级项目，这个项目下面拥有多个诞生于阿帕奇孵化器的子项目。Hadoop项目提供和支持开源软件的发展，它提供一个框架，用于开发高度可扩展的分布式计算应用软件。Hadoop框架负责处理任务并行分配的细节，使得应用程序开发者可以专注于应用程序逻辑上。 请注意，Hadoop徽标是一个胖胖的黄色的大象。而且Hadoop碰巧是首席架构师的宝宝的黄色大象的名字。 Hadoop项目主页（http://hadoop.apache.org/)谈到: Had

1.1 安装Hadoop 和其他的软件一样，使用Hadoop需要一些先决条件。如果你安装了Cywin，在Windows上执行和开发Hadoop应用程序也是可能。但是，我们强烈建议你使用Linux作为运行Hadoop的产品平台。 请注意，你需要有Linux和Java的基础知识才能使用Hadoop。我们使用Bash脚本来启动这本书的样例程序。 1.1.1 安装的前提条件 我们需要在下列的环境下运行这本书的样例程序， l Fedora 8 l Sun Java 6 l Hadoop 0.19.0 o

1.1 解决问题如果你在执行本书的样例程序过程中遇到问题，最有可能的就是因为执行环境的不同引起的，也可能由于你的计算机的存储空间不足导致问题。 然后，下面的环境变量的设置是重要的： JAVA_HOME：这是JDK的安装根路径。所有的样例程序假设JAVA_HOME环境变量指向JDK 1.6_07的安装根路径。这里假设JDK安装在/usr/java/jdk1.6.0_07。所以，我们应该设置JAVA_HOME如下：export JAVA_HOME=/usr/java/jdk1.6.0_07。 DADOOP_HO

整理的文档把已经完成的前两章的《精通HADOOP》系列的翻译日志整理成为文档，供大家下载阅读，希望对大家有所帮助。我将陆续翻译后续章节，希望能尽快发布出来。如果您有任何建议或者发现任何错误，请留言。我会根据大家的意见更改文章内容，格式，组织方式等等。请登陆优快云下载文档，下载此文档不需要资源分，下载地址如下，中文版《精通HADOOP》（第一二章）PDF格式下载连接你也可以通过下面链接下载本书的原版英文版《Pro Hadoop》和我的其他资源，原版英文版《Pro Hadoop》下载连接 我的下载主页日志的索

1.1 总结这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解，以及了解如何使用它通知框架你的作业需要的元素。你已经看见如何去写mapper和reducer类，以及如何使用reporter对象，reporter对象能够提供足够的关于你的作业的运行时的信息。最后，输出块是非常重要的，通过它你可以知道什么时候和为什么你配置你的作业去reduce, 以及你需要使用多少个reducer。作为一个优秀的Hadoop专家，你看到在mapper和reducer类中打开的文件是空的或者

1.1 执行作业配置你的MapReduce作业的最终目标是执行作业。MapReduceIntro.java样例程序阐述了一个简单的方式执行一个作业，如列表2-1所示， logger .info("Launching the job."); /** Send the job configuration to the framework * and request that the job be run. */final RunningJob job = JobClient.runJob(conf);

1.1 配置作业 所有的Hadoop作业有一个用来配置实际上的MapReduce任务和提交它到Hadoop框架的主程序。JobConf对象是用来处理这些配置的。MapReduceIntro样例类为你使用JobConf类并且提交一个作业到Hadoop框架提供了一个模板。所有的代码都依赖于MapReduceIntroConfig类，如下列表2-4所示，这个类确保了你设置了正确的输入和输出目录。 列表2-4 MapReduceIntroConfig.java package com.apress.ha

1 MapReduce任务的基础知识 这一章，整体的介绍MapReduce任务。读完这章，你能编写和执行单机模式的MapReduce任务程序。 这章中的样例程序假设你已经完成了第一章的设置。你可以在一个专用的本地模式配置下，使用一台单机执行这些样例程序，你不需要启动Hadoop核心框架。对于调试和单元测试，单机模式配置也是最理想的。你能够从Apress网站(http://www.apress.com)上这本书所在的页面下载这些样例代码。这些可下载的代码也包含一个用来执行样例的JAR文件。 下面我们就开

  1.1 执行和测试Hadoop样例程序 在Hadoop安装目录中你会找到包含Hadoop样例程序的JAR文件，你可以用它来试用Hadoop。在你执行这些样例程序以前，你应该保证你的安装是完全的和你的执行时环境的设置是正确的。我们在前面小节中提到，check_basic_env.sh脚本能够帮助你校验安装，如果安装有任何错误，它会提示你改正。   1.1.1 Hadoop的样例代码 hadoop-0.19.0-examples.jar文件包含着数个可以直接运行的样例程序。我们在图标1-4中列出包