Centos6.4-Hadoop1.2.1-Hbase-0.95.2 配置分布式服务器

本文详细介绍了如何在CentOS 6.4环境下搭建Hadoop与HBase集群，包括安装配置过程、解决常见问题及服务启动步骤。通过具体配置文件设置与端口分配，实现了一个小型的分布式数据处理环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

转发请说明出处 http://blog.youkuaiyun.com/ligy2005/article/details/12112455

由于自己搭建所以没有 cloudera manager 快但是 cloudera manager 架起来对一两个机器负担还是有点大管理类和监控类工具过多导致使用内存量很大

废话不多说了直接开始

我的是64位所以纠结了一阵

Centos6.4 x86-64 安装就不说了

两台机器

192.168.1.117 hadoop.first

192.168.1.118 hadoop.second

需要无密码直接登陆配置这配置网上有很多但是我只配置出来 root的无密码登陆

JDK 需要 1.6.0_45 64位

hadoop-1.2.1-bin.tar.gz 下载下来 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/

{优快云:CODE: # tar zxvf hadoop-1.2.1-bin.tar.gz }

hbase-0.95.2-hadoop1-bin.tar.gz http://mirror.esocc.com/apache/hbase/hbase-0.95.2/

{优快云:CODE: # tar zxvf hbase-0.95.2-hadoop1-bin.tar.gz }

配置文件

# vi  /etc/profile

#JDK

JAVA_HOME=/tarfile/jdk1.6.0_45
JRE_HOME=/tarfile/jdk1.6.0_45/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
#HADOOP
export HADOOP_DEV_HOME=/tarfile/hadoop-1.2.1
export PATH=$PATH:$HADOOP_DEV_HOME/bin
#HBASE
export HBASE_HOME=/tarfile/hbase-0.95.2-hadoop1
export PATH=$PATH:$HBASE_HOME/bin

zookeeper 用的是Hbase 自带的

下面是hadoop 配置

core-site.xml

<property>
   <name>hadoop.tmp.dir</name>
   <value>/hadoop/hdtemp</value>
   <description>A base for other temporary directories.</description>
</property>
<property>
   <name>fs.default.name</name>
   <value>hdfs://hadoop.first:8250/</value>
</property>

hadoop tmp 目录修改了如果不改重启centos 数据就没有了

namenode 端口号 8250 在hadoop.first 这台机器上

hadoop-env.sh

这个文件需要

export JAVA_HOME=/tarfile/jdk1.6.0_45

导入之后就在这个目录下的 jdk 上启动 hadoop

hdfs-site.xml

hdfs 文件系统文件配置

<property>
	<name>dfs.name.dir</name>
	<value>/hadoop/temp/dfs/name</value>
</property>
<property>
	<name>dfs.data.dir</name>
	<value>/hadoop/temp/dfs/data</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>
<property>
        <name>dfs.datanode.max.xcievers</name>
        <value>4096</value>
</property>

dfs.name.dir

存放namenode 的数据元文件

dfs.data.dir

存放HDFS 数据文件

dfs.replication

有几台分布式机器

dfs.datanode.max.xcievers

datanode所允许同时执行的发送和接受任务的数量，此项可以导致内存不足

mapred-site.xml

JobTracker 的配置

<property>
  	<name>mapred.job.tracker</name> 
        <value>hadoop.first:49001</value>
</property>
<property>  	
        <name>mapred.local.dir</name> 	
        <value>/hadoop/mapred</value>
</property>

mapred.job.tracker

JobTracker 服务的机器和端口使用的是hadoop.first 主机端口 49001

mapred.local.dir

存储 MapReduce 中间数据

下面是配置主机和副机的两个配置文件

masters master机 192.168.1.117

slaves datanode机

192.168.1.117

192.168.1.118

# vi /etc/hosts

192.168.1.117 hadoop.first
192.168.1.118 hadoop.second

这里添加上 hadoop两个机器的地址

hadoop 配置完成

# cd  /tarfile/hadoop1.2.1/bin

进入 hadoop bin 目录

执行

# service iptables stop
# ./start-all.sh

没有修改防火墙所以每次重启完 centos 都要关闭一下

hadoop 启动了

# jps

jps 一下

192.168.1.117 主机

2882 NameNode
3302 TaskTracker
17536 Jps
2987 DataNode
3104 SecondaryNameNode
3186 JobTracker

192.168.1.118 副机

2836 DataNode
11900 Jps
2910 TaskTracker

服务启动了

192.167.1.117:50030 Master 界面

192.167.1.117:50070 NameNode 界面

hadoop dfsadmin -report 看下有没有报错

一般也就是防火墙没有关闭副机服务起不起来

Hbase 配置

hbase etc/profile 已经在前面就配置了现在就直接进入 conf 吧

hbase-env.sh

导入jdk路径

export JAVA_HOME=/tarfile/jdk1.6.0_45

<property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop.first:8250/hbase/data</value>
    <description>The directory shared byRegionServers.
    </description>
  </property>
<property>
    <name>hbase.master</name>
    <value>hadoop.first:60000</value>
</property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    <description>The mode the clusterwill be in. Possible values are
     		false: standalone and pseudo-distributedsetups with managed Zookeeper
     		true: fully-distributed with unmanagedZookeeper Quorum (see hbase-env.sh)
    </description>
  </property>
    <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2222</value>
      <description>Property fromZooKeeper's config zoo.cfg.
      		The port at which the clients willconnect.
    </description>
    </property>
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>hadoop.first,hadoop.second</value>
      <description>Comma separated listof servers in the ZooKeeper Quorum.
      		For example,"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".
     		By default this is set to localhost forlocal and pseudo-distributed modes
    		of operation. For a fully-distributedsetup, this should be set to a full
    		list of ZooKeeper quorum servers. IfHBASE_MANAGES_ZK is set in hbase-env.sh
     		this is the list of servers which we willstart/stop ZooKeeper on.
      </description>
    </property>
    <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/hadoop/zookeeper</value>
      <description>Property fromZooKeeper's config zoo.cfg.
                   The directory where the snapshot isstored.
      </description>
    </property>

hbase.rootdir

hbase 的数据存储地方存在了192.168.1.117 上 /hbase/data 下面

hbase.master

Hmaster 的启动端口和机器 192.168.1.117:60000

hbase.cluster.distributed

这个为true 是用hbase 自带的 zookeeper false 需要自己安装 zookeeper

hbase.zookeeper.property.clientPort

zookeeper 的客户端连接时的端口

hbase.zookeeper.quorum

启动zookeeper 的机器我配置的是 192.168.1.117 和 192.168.1.118

hbase.zookeeper.property.dataDir

ZooKeeper保存数据的目录