Hbase集群部署

最新推荐文章于 2023-05-04 19:48:08 发布

原创

最新推荐文章于 2023-05-04 19:48:08 发布 · 368 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #zookeeper #hadoop

本文详细介绍了如何部署Hbase、Zookeeper和Hadoop集群，包括集群说明、版本选择、环境配置、各个组件的安装步骤、配置文件修改、启动与测试，确保集群稳定运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前要说明

1.集群说明

Hbase在完全分布式环境下，由Master进程负责管理RegionServers集群的负载均衡以及资源分配，ZooKeeper负责集群元数据的维护并且监控集群的状态以防止单点故障，每个RegionServer会负责具体数据块的读写，HBase所有的数据存储在HDSF系统上。

master slaver1 slaver2 slaver3 master1主机名（需要现有的主机名替换）

2.版本说明

版本：当前Ubuntu系统，jdk1.7.0_55

Hadoop选的最新稳定版：hadoop-2.7.3 t：16.8.26

Zookeeper选的最新稳定版：zookeeper-3.4.10 t:16.9.3

Hbase最新稳定版：hbase-1.2.5 t:16.10.26

理论上说，这是套系统，从时间更新的情况看也是这样，但是具体是否兼容或有问题得实际搭建看情况。

附加：CDH版本，目前主流生产环境都用这个，连网的情况，只需下个客户端，其他自动给配置，问题相对少很多，基本功能免费，高级功能收费。但是一般情况基本功能就可以，选择的换肯定是CDH5，但是具体哪个5点几没有研究过（理论上说应该都可以）

3.所有服务器环境配置说明

1.基本要求，为方便配置要求所有机器的所有安装路径文件路径及用户名

解压命令：

tar zxvf jdk-7u80-linux-x64.tar.gz 解压jdk

tar zxvf zookeeper-3.4.10.tar.gz 解压zk

tar zxvf hadoop-2.7.3.tar.gz 解压hadoop

tar zxvf hbase-1.2.5-bin.tar.gz 解压hbase

安装顺序jdk，zk，hadoop，hbase

启动顺序zk，hadoop，hbase

关闭顺序hbase，hadoop，zk

2.修改/etc/profile文件

即添加环境变量

在最后添加如下内容：

#java

export JAVA_HOME=/home/hadoop/jdk1.7.0_80

export PATH=$JAVA_HOME/bin:$PATH

#zk

export ZOOKEEPER=/home/hadoop/zookeeper-3.4.10

export PATH=$ZOOKEEPER/bin:$PATH

#hadoop

export HADOOP_HOME=/home/hadoop/hadoop-2.7.3

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#hbase

export HBASE_HOME=/home/hadoop/hbase-1.2.5

export PATH=$HBASE_HOME/bin:$PATH

执行source /etc/profile是环境变量生效

如果使用export PATH=$PATH: $JAVA_HOME/bin需切换jdk版本

$ sudo update-alternatives –install /usr/bin/javah javah /home/hadoop/jdk1.7.0_80/bin/javah
$ sudo update-alternatives –install /usr/bin/javac javac/home/hadoop/jdk1.7.0_80/bin/javac

$ sudo update-alternatives –install /usr/bin/javaws javaws /home/hadoop/jdk1.7.0_80/bin/javaws
$ sudo update-alternatives –install /usr/bin/java java /home/hadoop/jdk1.7.0_80/bin/java
$ sudo update-alternatives –install /usr/bin/jar jar/home/hadoop/jdk1.7.0_80/bin/jar

$ sudo update-alternatives –config java
$ sudo update-alternatives –config javac
$ sudo update-alternatives –config javah
$ sudo update-alternatives –config jar

3 配置host

配置所有机器主机名及ip地址

修改/etc/hosts

将127的ip全部用#注掉

并添加下面内容：

192.168.1.171 master

192.168.1.172 slaver1

192.168.1.173 slaver2

192.168.1.174 slaver3

192.168.1.175 master1

4建立ssh无密码登录

为了方便起见，所有机器都为无密码访问：

https://blog.youkuaiyun.com/dawn_rainbow/article/details/83746525

Zookeeper集群部署：

1）创建配置文件conf/zoo.cfg

mv zoo_sample.cfg zoo.cfg

2）更改conf/zoo.cfg的内容

# ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的

tickTime=2000

#Leader-Follower初始通信时限, Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许Follower在 initLimit 时间(10*tickTime)内完成这个工作

initLimit=10

#Leader-Follower同步通信时限,在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。如果L发出心跳包在syncLimit(2*tickTime)之后，还没有从F那里收到响应，那么就认为这个F已经不在线了。注意：不要把这个参数设置得过大，否则可能会掩盖一些问题

syncLimit=2

#存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能（在启动zk前要建好这个目录）

dataDir= /home/hadoop/data/zookeeper

#客户端连接端口

clientPort=2181

#服务器名称与地址：集群信息（服务器编号，服务器地址，LF通信端口，选举端口）必须为奇数个服务器（本机用0.0.0.0）

server.1=master:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

server.4=slave3:2888:3888

server.5=master1:2888:3888