hbase完全分布式安装与配置

HBase完全分布式安装教程
最新推荐文章于 2025-03-01 15:12:46 发布
转载 最新推荐文章于 2025-03-01 15:12:46 发布 · 725 阅读 · 0

本文详细介绍了如何在两个节点上进行HBase的完全分布式安装，包括安装Hadoop、Zookeeper，配置HBase，以及验证安装成功的过程。通过提供详细的步骤和注意事项，帮助读者轻松实现HBase的分布式部署。
1.环境说明

hbase 完全分布式安装，2个节点，分别为：
192.168.1.67 MasterServer (作为hbase的master和regionserver节点[可选])
192.168.1.241 SlaveServer  (作为hbase的regionserver节点)

2.先决条件
安装hadoop，具体安装见：http://blog.youkuaiyun.com/hwwn2009/article/details/39889465

安装zookeeper，因为要使用独立的zookeeper集群，具体安装见：http://blog.youkuaiyun.com/hwwn2009/article/details/40000881


3.安装Hbase

1）下载，注意要与hadoop版本兼容，且选择稳定版较好

[plain]  view plain copy
  1. wget http://mirrors.hust.edu.cn/apache/hbase/hbase-0.98.5/hbase-0.98.5-hadoop2-bin.tar.gz  
2）解压

[plain]  view plain copy
  1. tar -zxvf hbase-0.98.5-hadoop2-bin.tar.gz   
3）修改conf/hbase-site.xml文件

[plain]  view plain copy
  1. <property>  
  2.   <name>hbase.rootdir</name>  
  3.   <value>hdfs://MasterServer:9000/hbase</value>  
  4.  </property>  
  5.  <property>  
  6.    <name>hbase.cluster.distributed</name>  
  7.    <value>true</value>   
  8.  </property>  
  9.  <property>  
  10.    <name>hbase.master</name>  
  11.    <value>hdfs://MasterServer:60000</value>  
  12.  </property>  
  13.  <property>  
  14.    <name>hbase.zookeeper.quorum</name>  
  15.    <value>MasterServer,SlaveServer</value>   
  16.  </property>  
4）修改conf/regionservers文件

[plain]  view plain copy
  1. MasterServer  
  2. SlaveServer  
注：如果不想将MasterServer作为HRegionServer，就去掉 MasterServer

5）修改conf/hbase-env.sh文件

[plain]  view plain copy
  1. export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27  
  2. export HBASE_MANAGES_ZK=false  #启动指定的ZooKeeper，而非自带的ZooKeeper。  
  3. export HBASE_HOME=/home/hadooper/hadoop/hbase-0.98.5  
  4. export HADOOP_HOME=/home/hadooper/hadoop/hadoop-2.5.1  


4.将配置好的hbase复制到其它节点

[plain]  view plain copy
  1. scp -r hbase-0.98.5 hadooper@SlaveServer:~/hadoop/  

5.修改各节点Hadoop的hdfs-site.xml文件

[plain]  view plain copy
  1. <property>   
  2.     <name>dfs.datanode.max.xcievers</name>   
  3.     <value>4096</value>   
  4. </property>  
注：该参数限制了datanode所允许同时执行的发送和接受任务的数量，缺省为256。


6.测试

启动顺序是：Hadoop->zookeeper->hbase；停止顺序：hbase->zookeeper->hadoop。
1）启动hbase

[plain]  view plain copy
  1. bin/start-hbase.sh  
2）jps查看进程

①主节点MasterServer

[plain]  view plain copy
  1. 8428 JobHistoryServer  
  2. 4048 QuorumPeerMain  
  3. 18234 Jps  
  4. 15482 HMaster  
  5. 30357 NameNode  
  6. 15632 HRegionServer  
  7. 30717 ResourceManager  
  8. 30563 SecondaryNameNode  

②从节点SlaveServer

[plain]  view plain copy
  1. 9340 QuorumPeerMain  
  2. 11991 HRegionServer  
  3. 19375 DataNode  
  4. 13706 Jps  
  5. 19491 NodeManager  

3）进入hbase shell

[plain]  view plain copy
  1. bin/hbase shell  
[plain]  view plain copy
  1. HBase Shell; enter 'help<RETURN>' for list of supported commands.  
  2. Type "exit<RETURN>" to leave the HBase Shell  
  3. Version 0.98.5-hadoop2, rUnknown, Mon Aug  4 23:58:06 PDT 2014  
4）查看集群状态

[plain]  view plain copy
  1. hbase(main):001:0> status  
[plain]  view plain copy
  1. 2 servers, 0 dead, 1.5000 average load  

5）建表测试

[plain]  view plain copy
  1. hbase(main):002:0> create 'test','id'  
  2. 0 row(s) in 1.3530 seconds  
  3.   
  4. => Hbase::Table - test  
[plain]  view plain copy
  1. hbase(main):003:0> list  
  2. TABLE                                                                                               
  3. member                                                                                              
  4. test                                                                                                
  5. 2 row(s) in 0.0430 seconds  
  6.   
  7. => ["member", "test"]  
6）网页查看集群状态


如果以上都没问题，恭喜，安装配置完成。

转载请注明：http://blog.youkuaiyun.com/hwwn2009/article/details/40015907


7.遇到的问题

1）Q：从节点jps时，看不到HRegionServer，且status时，显示只有一个servers：1 servers。即从节点的hbase没有启动起来。

A：查看log日志

[plain]  view plain copy
  1. 2014-10-12 14:29:38,147 WARN  [regionserver60020] zookeeper.RecoverableZooKeeper: Node /hbase/rs/SlaveServer,60020,1413095376898 already deleted, retry=false  
  2. 2014-10-12 14:29:38,147 WARN  [regionserver60020] regionserver.HRegionServer: Failed deleting my ephemeral node  
  3. org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/rs/SlaveServer,60020,1413095376898  
  4.     at org.apache.zookeeper.KeeperException.create(KeeperException.java:111)  
  5.     at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)  
  6.     at org.apache.zookeeper.ZooKeeper.delete(ZooKeeper.java:873)  
  7.     at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.delete(RecoverableZooKeeper.java:156)  
  8.     at org.apache.hadoop.hbase.zookeeper.ZKUtil.deleteNode(ZKUtil.java:1273)  
  9.     at org.apache.hadoop.hbase.zookeeper.ZKUtil.deleteNode(ZKUtil.java:1262)  
  10.     at org.apache.hadoop.hbase.regionserver.HRegionServer.deleteMyEphemeralNode(HRegionServer.java:1298)  
  11.     at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:1012)  
  12.     at java.lang.Thread.run(Thread.java:662)  
  13. 2014-10-12 14:29:38,158 INFO  [regionserver60020] zookeeper.ZooKeeper: Session: 0x249020a2cfd0014 closed  
  14. 2014-10-12 14:29:38,158 INFO  [regionserver60020-EventThread] zookeeper.ClientCnxn: EventThread shut down  
  15. 2014-10-12 14:29:38,158 INFO  [regionserver60020] regionserver.HRegionServer: stopping server null; zookeeper connection closed.  
  16. 2014-10-12 14:29:38,158 INFO  [regionserver60020] regionserver.HRegionServer: regionserver60020 exiting  
  17. 2014-10-12 14:29:38,158 ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting  
  18. java.lang.RuntimeException: HRegionServer Aborted  
  19.     at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandLine.java:66)  
  20.     at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.run(HRegionServerCommandLine.java:85)  
  21.     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)  
  22.     at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:126)  
  23.     at org.apache.hadoop.hbase.regionserver.HRegionServer.main(HRegionServer.java:2422)  
  24. 2014-10-12 14:29:38,160 INFO  [Thread-9] regionserver.ShutdownHook: Shutdown hook starting; hbase.shutdown.hook=true; fsShutdownHook=org.apache.hadoop.fs.FileSystem$Cache$ClientFinalizer@8d5aad  
  25. 2014-10-12 14:29:38,160 INFO  [Thread-9] regionserver.ShutdownHook: Starting fs shutdown hook thread.  
  26. 2014-10-12 14:29:38,160 INFO  [Thread-9] regionserver.ShutdownHook: Shutdown hook finished.  
由于集群时间未同步，造成从节点没能启动。

在每个节点上运行ntp即可

[plain]  view plain copy
  1. ntpdate asia.pool.ntp.org  
也可永久改变，见：http://jingyan.baidu.com/article/48206aeae2e919216ad6b334.html

2）Q：进入hbase shell后，提示

[plain]  view plain copy
  1. SLF4J: Class path contains multiple SLF4J bindings.  
  2. SLF4J: Found binding in [jar:file:/usr/hbase/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]  
  3. SLF4J: Found binding in [jar:file:/usr/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]  
  4. SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.  
A：发生jar包冲突，删除hbase中的即可

[plain]  view plain copy
  1. rm lib/slf4j-log4j12-1.6.4.jar  
转载请注明： http://blog.youkuaiyun.com/hwwn2009/article/details/40015907
ly_bab
关注
完全分布式HBASE的安装
wyqwilliam的博客
01-13 312
node1 node2 node3 node4 namenode 1 1 datanode 1 1 1 zk 1 1 1 hmaster 1 1 hregionserver 1 ...
HBase完全分布式安装过程详解
cruise技术博客
02-10 5165
HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。它的运行依赖于其他文件系统，如HDFS。 HBase 是一个在HDFS 上开发的面向列的分布式数据库。如果需要实时地随机读/写超大规模数据集，就可以使HBase 这一 Hadoop 应用。 HBase模仿并提供了基于Google文件系统（GFS）中的bigtable数据库的所有功能。 HBase的目标是存储并处理大型的数据，更具体来说是仅需要使用普通的硬件配置就能处理由成千上万的行和列所组成的大型数据。 HBase有三种
HBase安装与配置(基于完全分布式的)
WeiJiFeng_的博客
04-09 365
1 .下载源码安装包 官网下载地址:http://mirrors.hust.edu.cn/apache/hbase/ 2 .解压文件 tar -zxvf hbase-1.2.6.tar.gz 3 .配置环境变量 首先安装hbase需要java环境，需要保证已经安装了jdk，且在hbase0.94版本开始，要求的jdk环境至少为1.7及以上，所以我使用我常用的的jd...
HBase完全分布式安装配置
daxiang的专栏
08-05 1060
本文转自：http://www.blogjava.net/redhatlinux/archive/2014/06/04/414404.html，未作修改。 注：我部署时使用的hadoop 2.6.0 + hbase 1.1.4。参考该文档操作完成后，需再部署hbase+zookeeper，否则启动报错。 前置条件 成功安装配置Hadoop集群 Hadoop ve
HBase 完全分布式安装（新）[头歌]
2303_81436105的博客
10-24 1020
将解压好的 Zookeeper 与配置文件通过 scp 命令发送至 slave1、slave2 中。在 slave1 复制 master 的 authorized_keys 文件。在 slave2 复制 master 的 authorized_keys 文件。在 master 复制 master、slave1、slave2 的公钥。在各节点上分别执行source /etc/profile，使配置文件生效。# 修改 slave1、slave2 中的 myid。# 删除所有内容，输入数字 2 ，保存退出。
Hbase完全分布式安装教程，详细版
最新发布
weizhigongzi的博客
03-01 1650
命令：ln -s /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml /opt/module/hbase-2.4.6/conf/core-site.xml。echo ---------- hbase 停止 ------------命令：scp -r /opt/module/hbase-2.4.6/ zq@hadoop102:/opt/module/echo ---------- hbase 启动 ------------
HBase分布式安装
xujonas的博客
01-05 787
hbase分布式安装，环境搭建，节点文件分发
HBase完全分布式集群的简单安装操作说明
qq_35447918的博客
03-10 2392
一 HBase完全分布式集群（使用内置ZooKeeper）安装操作说明 1）双击桌面“Oracle VM Virtual Box”图标，启动Virtual Box虚拟机软件 2）展开Virtual Box左边的HBase1.2.0，鼠标右键点击【启动】，菜单中选【启动】-》【分离式启动】，会弹出一个虚拟机启动窗口，耐心等待虚拟机启动过程完成 3）双击桌面“XshellPortable”图标，启动远程登陆终端工具XShell 4）菜单【文件】-》【打开】，弹出会话窗口，双击“HBase伪分布式”，用户
HBase完全分布式配置
weixin_33948416的博客
06-13 246
　　前面我们已经配置过了伪分布式的HBase集群，主要是为了学习方便，如果我们有条件或者要上在测试环境搭建集群我们肯定不能搭一个伪分布式的集群了事吧。这篇文章我们就来看一下如何搭建完全分布式的HBase集群。　　我们搭建完全分布式HBase集群的前提是：　　Zookeeper集群正常　　Hadoop集群正常　　其中Zookeeper集群的配置和Hadoop集群的配置 我们前面也有讲过，大家可以参考...
搭建HBase完全分布式数据库
12-15
一、Hbase数据库概述； 二、Hbase体系结构； 三、Hbase数据库模型； 四、总结Hbase整体特点； 五、案例：搭建Hbase分布式数据库系统
Hbase安装部署步骤截图
08-16
Hbase安装详细文档，有配置，有说明，有截图，非常详细
hbase安装和配置（完全分布式）
大数据小白
09-10 428
hbase 安装与配置(完全分布式) 解压安装包 启动hdfs 启动zookeeper 修改配置文件 hbase-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_79 export HBASE_MANAGES_ZK=false hbase-site.xml &lt;configuration&gt; &lt;!-...
HBASE完全分布式安装
Johnson8702的博客
12-04 866
0、集群节点分配 Hadoop01： Zookeeper+Hadoop+HBase Hadoop02： Zookeeper+HBase Hadoop03： Zookeeper+HBase   关于Hadoop2.0高可用集群搭建，请移步：https://blog.youkuaiyun.com/Johnson8702/article/details/84765141   1、安装和配置01节...
HBase完全分布式安装
甘道夫的大数据进化论
06-10 1054
假设Hadoop已经成功安装。 实验环境如下：Ubuntu 12 hadoop-0.20.203.0 hbase-0.90.5 三台主机： 192.168.66.91 masternode 192.168.66.92 slavenode1 192.168.66.93 slavenode2 Ubuntu用户名grid hadoop安装目录：/home/grid/hado
HBase完全分布式搭建
SunnyRivers
04-30 3449
节点分布情况    （这里把HMaster和NameNode搭建在一个节点，但是实际开发中，别这样做） 前提条件（每个节点） （1）Java环境变量 （2）时间同步 （3）主从免秘钥 （4）启动hadoop   1. 配置hbase-site.xml &lt;configuration&gt;         &lt;property&gt;                ...
HBASE完全分布式配置
工作点滴
07-25 736
1.启动zookeeper集群 2.启动hadoop集群，基本要启动hdfs 3.上传解压hbase的包，配置conf/hbase-env.sh export JAVA_HOME=/opt/soft/jdk1.7.0_79 export HBASE_CLASSPATH=/opt/soft/hadoop-2.5.1/etc/hadoop export HBASE_MANAGES_ZK=fa
hbase完全分布式安装配置
12-13
以下是HBase完全分布式安装配置的步骤： ### 1. 环境准备 确保所有节点上都安装了Java和Hadoop，并且Hadoop集群已经正常运行。 ### 2. 下载HBase 从Apache HBase官方网站下载最新版本的HBase。 ```bash wget ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值