Hadoop权威指南读书笔记（更新中）-优快云博客

从今天开始，除了Spring之外，研究大数据之Hadoop，着手从Hadoop:The Definitive Guide开始入手，先看看中文版的第二版，如果有时间再看看英文版的第三版吧。

1、首先虚拟机架设CentOS 6.5 64位，安装Java 1.8.0(java 8) 64位

2、依次下载书中实例和所需软件

http://hadoopbook.com/里有相关实例和数据下载，实例版本是按照书的版本组织的，有一、二和三版，其中二版使用ant ivy，三版使用maven。

下载软件包括 hadoop2.2.0 ,hbase-0.94.18.tar.gz,pig-0.12.0.tar.gz,zookeeper-3.4.6.tar.gz,sqoop-1.99.3-bin-hadoop200.tar.gz(可选)，以及apache-ant-1.9.3-bin.tar.gz,apache-ivy-2.4.0-rc1-bin-with-deps.tar.gz和apache-maven-3.2.1-bin.tar.gz。

3、在CentOS上安装相关软件，需要记住是：ant安装好后，需要将ivy里的jar包拷贝进ant的lib目录下。

分别解压相关软件，在terminal中输入vi /etc/profile，然后按书中说明，键入

export JAVA_HOME=/usr/java/jdk1.8.0
export HADOOP_INSTALL=/usr/hadoop-2.2.0
export ANT_HOME=/usr/ant
export PIG_INSTALL=/usr/pig
export HBASE_INSTALL=/usr/hbase
export HIVE_INSTALL=/usr/hive
export ZOOKEEPER_INSTALL=/usr/zookeeper
export MAVEN_HOME=/usr/maven
export PATH=$PATH:$HADOOP_INSTALL/bin:$ANT_HOME/bin:$PIG_INSTALL/bin:$HBASE_INSTALL/bin:$HIVE_INSTALL/bin:$ZOOKEEPER_INSTALL/bin:$MAVEN_HOME/bin

其中书上的HBASE_HOME改为HBASE_INSTALL。

在terminal中键入source /etc/profile，使得环境变量生效。

4、进入下载的实例目录，按照说明，键入ant jar pig hive hbase，会出现错误，只要依次更改：

（1）build.xml中

<fileset dir="${env.HADOOP_INSTALL}">
	<include name="*.jar"/>
	<include name="share/hadoop/**/*.jar"/>
</fileset>

将lib/**/*.jar改成share/hadoop/**/*.jar

（2）ch13/src/main/java/HBaseStationCli.java中

get.addColumn(INFO_COLUMNFAMILY,null);

将get.addColumn(INFO_COLUMNFAMILY);临时改为get.addColumn(INFO_COLUMNFAMILY,null);

这里只是临时更改，可以顺利编译，否则会报错，具体内容还需要继续学习才知道这段代码含义。

5、ant时还是有警告信息

You have loaded library /usr/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard.

具体上需要研究，hadoop2.2.0好像本地库（native）是32位的，详看http://blog.youkuaiyun.com/bamuta/article/details/13506893

——————————————————————————————————————————————————————————————

Hadoop权威指南读书笔记（更新中）

相关推荐