HBASE完全分布式模式的安装

本文详细介绍了在集群环境下安装并配置Hadoop和HBase的过程,包括安装依赖组件、配置hosts和环境变量、编辑配置文件、复制和启动HBase,以及验证其正常运行。

1集群环境下hadoop.1.1.2已经安装成功

2配置hosts,及环境变量

3编辑hbase-env.xml

4编辑hbase-site.xml

5编辑regionservers文件

6把Hbase复制到其它节点

7启动Hbase

8验证启动


1集群环境下hadoop.1.1.2已经安装成功

确保hadoop集群正常。

2配置hosts,确保涉及的主机名均可以解析为ip, 解压hbase

配置好需要安装hbase的机器,因为要用到zoopkeeper最好确保机器个数为奇数个。 

注意事项,hbase的版本要兼容hadoop集群的hadoop-core-xxx.jar的版本。最好hbase版本里lib下的hadoop-core-xxx.jar和hadoop集群的一样。

所以这里我选择了HBase-0.96.0, 对应hadoop-core-1.1.2.jar

解压hbase过程略过。

tar -zxvf /home/hadoop/hbase-0.96.0-hadoop1-bin.tar.gz

mv hbase-0.96.0-hadoop1 hbase   ##重命名为hbase 

①配置环境变量。

su 切换root用户

vi /etc/profile

export HBASE_HOME=/home/hadoop/hbase

export PATH=.:$HBASE_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

②使环境变量生效

source /etc/profile

su hadoop

③验证hbase

hbase version


3编辑$HBASE_HOME/conf/hbase-env.xml

#Java环境

export  JAVA_HOME=/usr/local/jdk1.6.0_24

#通过hadoop的配置文件找到hadoop集群

export  HBASE_CLASSPATH=/home/hadoop/hadoop-1.1.2/conf

#使用HBASE自带的zookeeper管理集群

export  HBASE_MANAGES_ZK=true


4编辑$HBASE_HOME/conf/hbase-site.xml

hbase-0.94版本压缩包解压后会有 $HBASE_HOME/src/main/resources/hbase-default.xml 拷贝里面的内容加入到 $HBASE_HOME/conf/hbase-site.xml。

修改

<property>

   <name>hbase.rootdir</name>

   <value>hdfs://hadoop100:9000/hbase</value>

   <!--hadoop集群下需要有hdfs://hadoop100:9000/hbase,  hadoop dfs -mkdir hdfs://hadoop100:9000/hbase-->

</property>

<property>

   <name>hbase.cluster.distributed</name>

   <value>true</value>

   <!--开启分布式-->

</property>

<property>

 <name>hbase.zookeeper.quorum</name>

  <value>hadoop100,hadoop101,hadoop102</value>

  <!--hbase分布式各节点,使用奇数个zookeeper尽可能确保选举leader公平-->

</property>

<property>

  <name>hbase.tmp.dir</name>

  <value>/home/hadoop/hbase-tmp</value>

  <!--hbase临时文件位置-->

</property>

<property>

  <name>hbase.zookeeper.property.dataDir</name>

  <value>/home/hadoop/hbase-tmp/zookeeper</value>

  <!--hbase临时zookeeper数据存放位置-->

</property>


5编辑$HBASE_HOME/conf/regionservers文件

hadoop101
hadoop102 

6把Hbase复制到其它节点

scp -r /home/hadoop/hbase/ hadoop@hadoop101:/home/hadoop/
scp -r /home/hadoop/hbase/ hadoop@hadoop102:/home/hadoop/

su 切换root
scp -r /etc/profile   root@hadoop101:/etc
scp -r /etc/profile   root@hadoop102:/etc

source /etc/profile
分别验证
hbase version

7启动Hbase

start-hbase.sh  

8验证启动

验证:jps 可以查看进程

或者 用 hbase shell尝试进入 hbase环境

停止hbase

stop-hbase



### HBase完全分布式模式安装准备步骤 在进行HBase完全分布式模式安装之前,需要完成一系列准备工作以确保整个集群能够正常运行并达到预期效果。以下是详细的准备工作: #### 1. 环境准备 为了成功部署HBase,在硬件和操作系统层面需满足以下条件: - **服务器资源**:至少两台或多台物理机或虚拟机用于构建分布式集群[^1]。 - **网络互通**:所有节点之间可以通过IP地址互相访问,并且关闭防火墙或者开放必要的端口(如2181、60010等)[^4]。 - **时间同步服务**:配置NTP服务来保持各节点的时间一致性,防止因时间差异引发数据不一致问题[^5]。 #### 2. 软件依赖安装 HBase依赖于Java环境以及Zookeeper协调服务,因此需要提前准备好这些基础软件包: - **JDK安装**:推荐版本为JDK 1.8及以上版本。设置`JAVA_HOME`变量指向正确的路径。 ```bash export JAVA_HOME=/path/to/jdk ``` - **SSH无密码登录配置**:实现主节点到其他从节点之间的免密认证操作[^1]。 ```bash ssh-keygen -t rsa ssh-copy-id user@slave-node-ip ``` #### 3. 配置文件拷贝与调整 将HDFS的相关配置复制至HBase环境中以便集成两者功能: - 使用如下命令把`core-site.xml` 和 `hdfs-site.xml` 文件复制到HBase配置目录下[^3]: ```bash cp /path/to/core-site.xml /path/to/hbase/conf/ cp /path/to/hdfs-site.xml /path/to/hbase/conf/ ``` #### 4. Zookeeper的选择与规划 对于生产级别的HBase集群来说,独立搭建一套高可用性的ZooKeeper集群是非常重要的一步[^2]。如果仅测试用途可以考虑使用内置默认方式开启单实例zookeeper(`export HBASE_MANAGES_ZK=true`);但对于实际应用场景,则应禁用此选项并通过外部管理zk进程(`export HBASE_MANAGES_ZK=false`)。 --- ### 总结 以上便是关于HBase完全分布式模式安装前所需做的各项预备工作概述。每一步都至关重要,任何遗漏都有可能导致最终失败的结果发生。务必按照官方文档指引仔细核对每一个细节参数设定情况后再继续下一步骤实施流程。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值