本文介绍如何构建兼容HBase-0.90.2的Hadoop-0.20.X版本，解决两者间的数据丢失风险问题。通过使用branch-0.20-append分支，用户可以在生产环境中稳定运行HBase。
以下翻译自《Building an Hadoop 0.20.x version for HBase 0.90.2》（2011年10月20日），作者是Michael G. Noll，原文地址：
http://www.michael-noll.com/blog/2011/04/14/building-an-hadoop-0-20-x-version-for-hbase-0-90-2/
目前，Hadoop-0.20.2是Apache Hadoop发布的最新的稳定版本，可用于生产环境的版本（0.12或者0.22都不是）。不幸的是，Hadoop-0.20.2和最新的HBase稳定版本是不兼容的：如果你在Hadoop-0.20.2之上运行HBase，你会有丢失数据的风险！因此，HBase用户需要构建他们自己的Hadoop-0.20.X版本，如果他们想要在生产集群上运行HBase。这篇文章里，我将描述如何构建兼容HBase-0.90.2的为生产环境准备的Hadoop-0.20.X版本。
目录：
1.开始之前
1.1.使用git（而不是SVN）
1.2.Hadoop 0.20.2与0.20.203.0
1.3.讨论了Hadoop，那HBase呢？
1.4.这篇文章中使用的Hadoop-0.20-append版本
2.背景
2.1.Hadoop和HBase：选择哪个版本用于生产集群？
2.2.替代方案
3.一句小心和感谢的话
4.从branch-0.20-append构建Hadoop-0.20-append
4.1.检索Hadoop-0.20-append源代码
4.2.Hadoop-0.20.2与Hadoop-0.20-append的比较
4.3.构建过程
4.3.1.构建命令
4.3.2.构建测试失败，怎么办？
4.3.3.找到构建输出（Hadoop Jar文件）
4.4.安装Hadoop-0.20-append到你的Hadoop集群
4.4.1.如果你运行Hadoop-0.20.2，重命名构建的Jar文件
5.维护你自己的Hadoop-0.20-append版本
6.总结
1.开始之前
1.1.使用git（而不是SVN）
在接下来的章节，我将使用git作为版本控制系统，来操作Hadoop源代码。为何？因为在我看来git比SVN好用的多，所以请谅解。
如果你使用SVN，欢迎修改以下描述的git命令。你可以为本文撰写关于SVN使用经验的评论，以便其他SVN用户也能从中获益。
1.2.Hadoop 0.20.2与0.20.203.0
2011年6月11日更新：在这篇文章发表后的几个星期，Hadoop-0.20.203.0和HBase-0.90.3就发布了。虽然文章里说的主要是Hadoop-0.20.2，构建指令应该同样适用于Hadoop-0.20.203.0，但我还没时间亲自验证这一点。如果你在构建过程中遇到了任何问题，欢迎在文章最后留下评论。
1.3.讨论了Hadoop，那HBase呢？
在这篇文章里，我集中在构建兼容HBase-0.90.2的Hadoop-0.20-X版本中（参见下文的阴影部分）。在稍后的文章里，我将描述如何在本文构建的Hadoop-0.20.X版本基础上，正确的安装和配置HBase-0.90.2。
1.4.这篇文章中使用的Hadoop-0.20-append版本
以下指令使用的是最新的branch-0.20-append。撰写本文时，git的最新提交是df0d79cc，而SVN的是1057313。作为参考，对应的提交信息是“HDFS-1554。支持recoverLease的新的语义。由Hairong Kuang提交。”在2011年1月10日。
Author: Hairong Kuang
Date: Mon Jan 10 19:01:36 2011 +0000
HDFS-1554. New semantics for recoverLease. Contributed by Hairong Kuang.
git-svn-id: https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-append@1057313 13f79535-47bb-0310-9956-ffa450edef68
这就是说，构建步骤在branch-0.20-append之后的任何版本都应该有效。
2.背景
2.1.Hadoop和HBase：选择哪个版本用于生产集群？
Hadoop-0.20.2是Apache Hadoop发布的最新的稳定版本，可用于生产环境的版本。不幸的是，Hadoop-0.20.2和最新的HBase稳定版本是不兼容的，比如HBase-0.90.2：如果你在未修改的Hadoop-0.20.2之上运行HBase-0.90.2，你很有可能丢失数据！
以下内容摘自HBase的文档，略有改动：
这里是快速总览：
| Hadoop版本 | HBase版本 | 兼容？ |
| 0.20.2版本 | 0.90.2 | 否 |
| 0.20-append | 0.90.2 | 是 |
| 0.21.0版本 | 0.90.2 | 否 |
| 0.22.X开发中 | 0.90.2 | 否 |
说实话，在为Hadoop-0.20.X和HBase-0.90.2联姻的过程中，我花了相当长的时间在要求、依赖关系、工程状态等方面加快速度。因此我想通过这篇文章来回馈Hadoop和HBase社区。
2.2.替代方案
使HBase在Hadoop上运行的另一种方式——而不是通过构建自己的Hadoop-0.20-append——是使用Cloudera的CDH3。CDH3包含了Hadoop-0.20-append需要的持久化同步补丁，即可让Hadoop-0.20.X和HBase-0.90.2兼容。
3.一句警告和感谢的话
首先，警告：虽然在以下章节中我已经非常谨慎的编写和描述构建步骤，我还是不能给你任何保证。如果有疑问，通过HBase的邮箱列表加入我们的讨论。
第二，这里我只是将碎片拼凑在了一起，主要任务是由他人完成的。因此，我想感谢St.Ack，由于他在我准备这篇文章时候的重要反馈，也感谢来自他和所有邮箱列表中的HBase开发者们的帮助。非常感谢！
4.从branch-0.20-append构建Hadoop-0.20-append
4.1.检索Hadoop-0.20-append源代码
Hadoop-0.20.X没有像0.21.0以及之后的版本那样，拆分为Common、HDFS和MapReduce的组件。因而在Hadoop的公共代码库中你可以找到所有需要的代码。
所以第一步是检出Hadoop的公共代码库。
$ git clone http://git.apache.org/hadoop-common.git $ cd hadoop-common
然而，git指令只检出了最新的Hadoop Common，即Hadoop Common开发的前沿。而我们只对代码树的Hadoop-0.20-append感兴趣，即分支branch-0.20-append。因为git默认不会从一个复制的代码库下载远端的分支，我们必须明确的指示它这样做：
# 检出Hadoop-0.20-append分支 # 只检出master tree (SVN的命令是trunk). $ git checkout -t origin/branch-0.20-append Branch branch-0.20-append set up to track remote branch branch-0.20-append from origin. Switched to a new branch 'branch-0.20-append'
4.2.Hadoop-0.20.2与Hadoop-0.20-append的比较
到现在为止，你也许会问自己Hadoop的0.20.2版本和它的扩展分支到底有何分别。这就是答案：Hadoop-0.20-append分支实际上是Hadoop-0.20.2的超集。换句话说，Hadoop-0.20.2版本中没有哪一个“真正的”提交不在Hadoop-0.20-append里。这意味着Hadoop-0.20-append支持所有Hadoop-0.20.2版本的特性，棒极了！
运行以下git命令来验证这一点：
$ git show-branch release-0.20.2 branch-0.20-append ! [release-0.20.2] Hadoop 0.20.2 release * [branch-0.20-append] HDFS-1554. New semantics for recoverLease. Contributed by Hairong Kuang. -- * [branch-0.20-append] HDFS-1554. New semantics for recoverLease. Contributed by Hairong Kuang. * [branch-0.20-append^] HDFS-1555. Disallow pipelien recovery if a file is already being lease recovered. Contributed by Hairong Kuang. * [branch-0.20-append~2] Revert the change made to HDFS-1555: merge -c -1056483 https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-append * [branch-0.20-append~3] HDFS-1555. Disallow pipeline recovery if a file is already being lease recovered. Contributed by Hairong Kuang. [...] * [branch-0.20-append~50] JDiff output for release 0.20.2 * [branch-0.20-append~51] HADOOP-1849. Merge -r 916528:916529 from trunk to branch-0.20. + [release-0.20.2] Hadoop 0.20.2 release + [release-0.20.2^] Hadoop 0.20.2-rc4 +* [branch-0.20-append~52] Prepare for 0.20.2-rc4
如你所见，Hadoop-0.20.2版本只有两个提交不在branch-0.20-append，分别叫做“Hadoop 0.20.2 release”和“Hadoop 0.20.2-rc4”。这两个提交都是简单的提交标记，即它们只是用作版本管理，而不会对Hadoop的源代码进行任何改动。
4.3.构建过程
4.3.1.构建命令
首先，我们要创建build.properties文件（见完整说明）。
这是我的文件的内容：
#这个很重要
resolvers=internal
#可以修改这个为你认为合适的数值
version=0.20-append-for-hbase
project.version=${version}
hadoop.version=${version}
hadoop-core.version=${version}
hadoop-hdfs.version=${version}
hadoop-mapred.version=${version}
build.properties文件必须被放在（或者可见）hadoop-common顶层目录下，类似/hadoop-common/build.properties。你既可以直接放置文件，也可以按照建议的方法，你将文件放置在一个父文件夹，然后创建一个它的快捷方式。后者更加方便，当你同样检出了Hadoop的子项目hadoop-hdfs和hadoop-mapreduce的代码库，因而想为这三个子项目使用同一个build.properties文件的时候。
$ pwd /your/path/to/hadoop-common # 创建和编辑build.properties文件 $ vi ../build.properties # 创建它的系统链接 $ ln -s ../build.properties build.properties
现在我们已经准备好用ant从源代码编译Hadoop了。 我用的是Git And Hadoop中描述的ant mvn-install命令。构建本身应该只需要几分钟的时间。但是一定要运行ant test（或者仅仅是ant test-core，如果你很懒）需要注意的是测试需要相当长的时间（2小时，以我3年使用时间的MacBook Pro为例）。
# 明确你检出的是branch-0.20-append的源代码
$ git checkout branch-0.20-append
# 执行构建过程
$ ant mvn-install
# 可选：执行完全测试，或者仅执行核心测试
$ ant test
$ ant test-core
4.3.2.构建测试失败，怎么办？
现在到了更加细致的部分：如果你通过ant test执行构建测试，你会发现构建测试总是失败！一致的错误报告是TestFileAppend4，且被记录到build/test/TEST-org.apache.hadoop.hdfs.TestFileAppend4.txt文件中。下面是测试输出的简短摘录：
2011-04-06 09:40:28,666 INFO ipc.Server (Server.java:run(970)) - IPC Server handler 5 on 47574, call append(/bbw.test, DFSClient_1066000827) from 127.0.0.1:45323: error: org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException: failed to create file /bbw.test for DFSClient_1066000827 on client 127.0.0.1, because this file is already being created by DFSClient_-95621936 on 127.0.0.1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.recoverLeaseInternal(FSNamesystem.java:1202)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:1054)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.appendFile(FSNamesystem.java:1221)
at org.apache.hadoop.hdfs.server.namenode.NameNode.append(NameNode.java:396)
[...]
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:955)
2011-04-06 09:40:28,667 INFO hdfs.TestFileAppend4 (TestFileAppend4.java:recoverFile(161)) - Failed open for append, waiting on lease recovery
[...]
Testcase: testRecoverFinalizedBlock took 5.555 sec
Caused an ERROR
No lease on /testRecoverFinalized File is not open for writing. Holder DFSClient_1816717192 does not have any open files.
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /testRecoverFinalized File is not open for writing. Holder DFSClient_1816717192 does not have any open files.
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:1439)
[...]
at org.apache.hadoop.hdfs.TestFileAppend4$1.run(TestFileAppend4.java:636)
万幸的是，这个错误并不意味着构建无法执行。我们知道这是branch-0.20-append单元测试的问题（见St.Ack对HBASE-3258的评论）。换句话说，这是个人所共知的测试错误，我们可以忽略它。咻！
偶然的，你可能发生构建失败或者构建错误。在我的机器上，举例来说，我也见过以下测试失败：
- org.apache.hadoop.hdfs.server.namenode.TestEditLogRace（查看）
- org.apache.hadoop.hdfs.TestMultiThreadedSync（查看）
我不知道什么会导致这些偶然错误——可能是由于我的机器的问题。仍然在用它。
坦白的讲，我上面的话可能听着不舒服。至少是发生在我身上的。尽管如此，我从HBase邮箱列表收到的反馈说，Hadoop-0.20-append的以上构建过程需要被修正。
4.3.3.找到构建输出（Hadoop Jar文件）
默认的，通过ant mvn-install构建的Hadoop Jar文件被放置于$HOME/.m2/repository目录。你可以用以下命令找到Jar文件：
$ find $HOME/.m2/repository -name "hadoop-*.jar" .../repository/org/apache/hadoop/hadoop-examples/0.20-append-for-hbase/hadoop-examples-0.20-append-for-hbase.jar .../repository/org/apache/hadoop/hadoop-test/0.20-append-for-hbase/hadoop-test-0.20-append-for-hbase.jar .../repository/org/apache/hadoop/hadoop-tools/0.20-append-for-hbase/hadoop-tools-0.20-append-for-hbase.jar .../repository/org/apache/hadoop/hadoop-streaming/0.20-append-for-hbase/hadoop-streaming-0.20-append-for-hbase.jar .../repository/org/apache/hadoop/hadoop-core/0.20-append-for-hbase/hadoop-core-0.20-append-for-hbase.jar
4.4.安装Hadoop-0.20-append到你的Hadoop集群
现在剩下的唯一一件事情，就是安装构建的Hadoop-0.20-append到你的集群。这一步非常简单：在你的Hadoop-0.20.2版本安装目录下，用以上创建的文件直接替换Hadoop Jar文件。你还需要在HBase-0.90.2安装目录下，用你创建的文件（如果你按照以上步骤创建，文件名是hadoop-core-0.20-append-for-hbase.jar）替换Hadoop core Jar文件（$HBASE_HOME/lib/hadoop-core-0.20-append-r1056497.jar）。
因为这一步很重要，这里我再次强调：Hadoop所使用的Hadoop Jar文件和HBase使用的Hadoop jar文件必须匹配！
4.4.1.如果你运行Hadoop-0.20.2，重命名构建的Jar文件
2011年6月11日更新：如果你使用的是Hadoop-0.20.203.0版本，这一章节的指令不是必须执行的。
Hadoop-0.20.2版本Jar文件的命名规则是hadoop-VERSION-PACKAGE.jar，如hadoop-0.20.2-examples.jar。以上的构建过程采用不同的命名规则hadoop-PACKAGE-VERSION.jar，如hadoop-examples-0.20-append-for-hbase.jar。因此你可能想重命名以上章节构建的Jar文件，以符合Hadoop-0.20.2版本的命名规则（否则/bin/hadoop脚本无法添加Hadoop core Jar文件到它的CLASSPATH，同时那些Hadoop文档中的命令，如hadoop、jar、hadoop-*-examples.jar、pi 50 1000等也都无法执行）。
# 当你在Hadoop安装路径下替换Hadoop Jar文件， # 你可能想要像这样重命名你的Hadoop-0.20-append Jar文件。 hadoop-examples-0.20-append-for-hbase.jar --> hadoop-0.20-append-for-hbase-examples.jar hadoop-test-0.20-append-for-hbase.jar --> hadoop-0.20-append-for-hbase-test.jar hadoop-tools-0.20-append-for-hbase.jar --> hadoop-0.20-append-for-hbase-tools.jar hadoop-streaming-0.20-append-for-hbase.jar --> hadoop-0.20-append-for-hbase-streaming.jar hadoop-core-0.20-append-for-hbase.jar --> hadoop-0.20-append-for-hbase-core.jar
与之相反，HBase采用hadoop-PACKAGE-VERSION.jar的规则。因此，当你在$HBASE_HOME/lib目录替换HBase附带的Hadoop core Jar文件时，你可以选择不修改新构建的Hadoop core Jar文件。
5.维护你自己的Hadoop-0.20-append版本
如果你必须将一些额外的补丁集成到Hadoop-0.20.2或者Hadoop-0.20.append（通常是以Hadoop-0.21或者0.22的补丁的形式），你可以创建一个基于你感兴趣的Hadoop版本的本地分支。是的这是以你的名义做出的努力，所以你必须务必权衡利弊这样做。
想象一下，举例来说，你使用基于branch-0.20-append的Hadoop-0.20-append，因为你也想在你的Hadoop集群运行最新稳定版本的HBase。当对你的集群执行基准测试和压力测试的时候，不幸的是你发现一个问题，你可以追踪HDFS-611。有一个可用的补丁（你可能要做一些backport改动），但不是在你运行的Hadoop版本内，即该补丁不包含在branch-0.20-append代码库。
你可以做的是创建一个本地的基于你的Hadoop版本（这里是：branch-0.20-append）的git分支，你就可以集成和测试任何你需要的补丁。清理解，这里我仅描述基本的过程——我不会赘述在你遵照以下步骤的时候，如何才能确保和跟进的Hadoop版本的任何更新保持同步。有许多好用的git介绍，如Git Community Book，可以解释的比我透彻的多。
# 在下一步之前，确保我们是在branch-0.20-append的基础上 $ git checkout branch-0.20-append # 在官方最新版本的branch-0.20-append的基础上创建你的本地分支 $ git checkout -b branch-0.20-append-yourbranch
确保当前的两个append分支是一致的：
# 检验你本地的分支和官方的分支是一致的 $ git show-branch branch-0.20-append branch-0.20-append-yourbranch ! [branch-0.20-append] HDFS-1554. New semantics for recoverLease. Contributed by Hairong Kuang. * [branch-0.20-append-yourbranch] HDFS-1554. New semantics for recoverLease. Contributed by Hairong Kuang. -- +* [branch-0.20-append] HDFS-1554. New semantics for recoverLease. Contributed by Hairong Kuang. # 还好，它们是一致的
将补丁应用到你的分支。在下面的例子中，我使用HDFS-611.branch-0.20-append.v1.patch文件，应用HDFS-611补丁的backport到branch-0.20-append。注意这个backport在HDFS-611页面是不存在的——我在HDFS-611的Hadoop-0.20.2版本补丁的基础上创建了它（HDFS-611.branch-20.v6.patch）。
# 应用补丁到你的分支
$ patch -p1 < HDFS-611.branch-0.20-append.v1.patch
# 从补丁添加任何改动或者新增文件到git索引
$ git add src/hdfs/org/apache/hadoop/hdfs/protocol/FSConstants.java \
src/hdfs/org/apache/hadoop/hdfs/server/datanode/FSDataset.java \
src/hdfs/org/apache/hadoop/hdfs/server/datanode/FSDatasetAsyncDiskService.java \
src/test/org/apache/hadoop/hdfs/TestDFSRemove.java
# 从索引提交改动到代码库
$ git commit -m "HDFS-611: Backport of HDFS-611 patch for Hadoop 0.20.2 release"
确认你打过补丁的分支比原本的append分支多一次提交：
# 比较你本地append分支和远端分支的历史记录 $ git show-branch branch-0.20-append branch-0.20-append-yourbranch ! [branch-0.20-append] HDFS-1554. New semantics for recoverLease. Contributed by Hairong Kuang. * [branch-0.20-append-yourbranch] HDFS-611: Backport of HDFS-611 patch for Hadoop 0.20.2 release -- * [branch-0.20-append-yourbranch] HDFS-611: Backport of HDFS-611 patch for Hadoop 0.20.2 release +* [branch-0.20-append] HDFS-1554. New semantics for recoverLease. Contributed by Hairong Kuang. # 没错，只是多了一步提交
顺便说一句，如果你想看看Hadoop-0.20.2版本，官方branch-0.20-append和你自己打过补丁的branch-0.20-append-yourbranch之间的区别，执行以下git指令：
$ git show-branch release-0.20.2 branch-0.20-append branch-0.20-append-yourbranch
6.总结
我希望这篇文章能帮助你构建能在生产环境运行HBase-0.90.2的Hadoop-0.20.X版本。一如既往欢迎你的反馈和评论。
*****************
南邮福富实验室
wuxiaochao@live.com
*****************
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
