记一次hadoop的编译安装笔记

PS：这次的编译安装真心闹心，如果直接使用官网提供的32位包就没那么多事了。

一、环境介绍

系统：ubuntu14.04LTS（因为14.10的时候使用了独显，一直会随机卡死，换了14.04后就用集显了，懒得还回来）

JDK：1.7.72

maven：3.2.5

hadoop：2.6

二、编译安装途中遇到的问题

2.1 JDK

            笔者一开始安装的是JDK1.8，秉着对新东西的新人与追求。但就在这里浪费了笔者很久很久的时间。因为JDK1.8在编译hadoop的时候会报JAVADOC的错误。这是JDK版本和maven导致的。可以通过

mvn clean package -Pdist,native-win -DskipTests -Dtar -Dmaven.javadoc.skip=true

来跳过这个错误，但继续编译下去，到了hadoop=common的时候又会报错。各种错误。

后来换了JDK1.7之后，雨过天晴烟消云散。

当然，如果读者是执着于JDK1.8的话，可以在编译后换回来。

2.2 protocbuf

            又是万恶的尝新念头。笔者一开始安装的是protocbuf2.6.1，最新的稳定版本。但也因为这个缘故，在编译hadoop2.6的时候又是不通过了。提示需要protocbuf2.5版本。

于是就只好卸载掉他了，这里提供卸载protocbuf的命令：

<pre name="code" class="plain"><strong>sudo apt-get remove --auto-remove protobuf-compiler</strong>

2.3maven

           人在天朝，真的很无奈。今天在公司的电脑上vm一个ubuntu，然后再次安装hadoop，想利用公司空闲资源配置分布式的hadoop。在安装的过程中多次遇到编译不通过。是由于maven的插件或jar下来失败。欢乐setting中的镜像为oschina也是失败。很是失望。于是在网上找了多个镜像，共享如下：

http://www.waylau.com/use-maven-mirrors/

http://maven.oschina.net/help.html

这里需要注意：更改jar包下载的是标签mirror，而下载maven插件的镜像标签是profile。不然很有可能包下载了，但插件下载不了依然编译失败。

除以上之外。其余的编译安装无甚特别，可参考以下转载文章：

hadoop编译安装：www.micmiu.com/bigdata/hadoop/hadoop-2x-ubuntu-build/

hadoop单机部署：www.tuicool.com/articles/yqY7Nv

运行wordcount的例子（同样也是单机部署）：www.cnblogs.com/kinglau/p/3794433.html