Linux [Mint] 上实现Hadoop 1.2.1 + HBase 0.94.14 + Hive 0.11.0整合

本文详细介绍了如何在Mint环境下整合Hadoop1.2.1、HBase0.94.14及Hive0.11.0，包括准备工作、Hadoop配置、HBase安装与配置、Hive安装与配置以及环境变量设置等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这两年Hadoop发展得很快，一不留神最新的版本已经升级到了2.2。最近打算研究一下Hadoop2，不过在这之前想先回忆一下基于Hadoop1的整合。

这里有一些以前整理的资料：

http://blog.youkuaiyun.com/kunshan_shenbin/article/details/7105319

关于这几个项目的整合，最要命的就是版本间的兼容了，本文演示的是在Mint上整合：Hadoop 1.2.1 + HBase 0.94.14 + Hive 0.11.0

主要步骤如下：

0. 准备工作：

在用户目录（假定用户名为openx）下新建develop文件夹，所有用到的项目将统一放置在这里。在该目录下新建hdfs文件夹备用。

另外需要设置安装ssh无密码访问认证。

home/openx/develop/hadoop/conf/core-site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>

/home/openx/develop/hadoop/conf/hdfs-site.xml

<configuration>
	<property>
    	<name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

/home/openx/develop/hadoop/conf/mapred-site.xml

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:9001</value>
	</property>
</configuration>

3. 安装Hbase 0.94.14：

下载Hbase 0.94.14，同样解压后放置在/home/openx/develop下，改名hbase。

修改配置文件（注意需要在/home/openx/develop/hdfs下新建对应的文件夹）：

home/openx/develop/hbase/conf/hbase-site.xml

<configuration>
	<property>
    		<name>hbase.rootdir</name>
    		<value>file:///home/openx/develop/hdfs/hbase</value>
 	</property>
  	<property>
    		<name>hbase.zookeeper.property.dataDir</name>
    		<value>/home/openx/develop/hdfs/zookeeper</value>
  	</property>
</configuration>

4. 安装Hive 0.11.0：

下载Hive 0.11.0，同样解压后放置在/home/openx/develop下，改名hive。

新建配置文件（注意需要在/home/openx/develop/hdfs下新建对应的文件夹, 并且从hbase里拷贝相应的jar包）：

home/openx/develop/hbase/conf/hive-site.xml

<configuration>
	<property>
  		<name>hive.querylog.location</name>
  		<value>/home/openx/develop/hdfs/hive/logs</value>
	</property>
	<property>
  		<name>hive.aux.jars.path</name>
		<value>file:///home/openx/develop/hive/lib/hive-hbase-handler-0.11.0.jar,file:///home/openx/develop/hive/lib/hbase-0.94.14.jar,file:///home/openx/develop/hive/lib/zookeeper-3.4.5.jar</value>
	</property>
</configuration>

5. 设置环境变量：

用户根目录下新建.bashrc文件，添加内容如下：

export JAVA_HOME=/home/openx/develop/jdk1.7.0_45
export HADOOP_HOME=/home/openx/develop/hadoop
export PATH=$JAVA_HOME/bin:$PATH

修改home/openx/develop/hbase/conf/hadoop-env.sh文件：export JAVA_HOME=/home/openx/develop/jdk1.7.0_45

参看：http://blog.youkuaiyun.com/kunshan_shenbin/article/details/7210689