HBase(CDH)分布式集群安装文档 (笔记)

在Hadoop集群基础之上安装HBase集群。

1.        集群规划

1.1         主机规划

 

Master

Slave1

Slave2

Namenode

 

Datanode

HMaster

 

HRegionServer

Zookeeper

 

1.2         软件规划

软件

版本

位数

Jdk

1.8

64

Centos

6.5

64

Zookeeper

zookeeper-3.4.5-cdh5.13.0.tar.gz

 

HBase

hbase-1.2.0-cdh5.13.0.tar.gz

 

 

1.3         用户规划

节点名称

用户组

用户

Master

Cdh

Cdh

Slave1

Cdh

Cdh

Slave2

Cdh

Cdh

 

1.4         目录规划

名称

路径

所有软件目录

/home/cdh/app

脚本目录

/home/cdh/tools

日志目录

/home/cdh/data/hbase/logs

Pids目录

/home/cdh/data/hbase/pids

 

2.        Hbase安装

1.1         下载hbase-1.2.0-cdh5.13.0.tar.gz,上传至master节点的/home/cdh/app目录下

1.2         解压:tar -zxvf hbase-1.2.0-cdh5.13.0.tar.gz

1.3         创建软链接:ln -s hbase-1.2.0-cdh5.13.0 hbase

1.4         修改hbase配置文件:hbase-env.sh、hbase-site.xml、regionservers(详情见本地文件)

1.5         将hdfs文件拷贝到master节点的/home/cdh/app/hbase-1.2.0-cdh5.13.0/conf目录下

cp core-site.xml /home/cdh/app/hbase-1.2.0-cdh5.13.0/conf/

cp hdfs-site.xml /home/cdh/app/hbase-1.2.0-cdh5.13.0/conf/

1.6         将master节点下的hbase安装目录分发到slave1和slave2节点

deploy.sh hbase-1.2.0-cdh5.13.0 /home/cdh/app/ slave

然后分别创建软链接

ln -s hbase-1.2.0-cdh5.13.0 hbase

1.7         创建相关目录

runRemoteCmd.sh "mkdir -p/home/cdh/data/hbase/logs" all

1.8         各个节点配置hbase环境变量

vi~/.bashrc

JAVA_HOME=/home/cdh/app/jdk

ZOOKEEPER_HOME=/home/cdh/app/zookeeper

HADOOP_HOME=/home/cdh/app/hadoop

HBASE_HOME=/home/cdh/app/hbase

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:/home/cdh/tools:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATHZOOKEEPER_HOME HADOOP_HOME HBASE_HOME

保存并使之生效

source ~/.bashrc

1.9         启动hbase

1.9.1.1   启动Zookeeper:

runRemoteCmd.sh"/home/cdh/app/zookeeper/bin/zkServer.sh start" all

1.9.1.2   启动hdfs:

sbin/start-dfs.sh

1.9.1.3   启动hbase:bin/start-hbase.sh

1.9.1.4   Web 界面查看hbase:http://master:60010

如需完整的安装包+配置文件,可以加QQ群:695520445

<think>好的,我需要帮助用户了解如何在完全分布式环境下安装和部署HBase集群。首先,我需要回顾用户提供的引用内容,确保回答准确。 用户提供了四个引用,主要涉及HBase集群安装步骤、依赖关系、配置文件和常见错误处理。根据这些信息,我应该分步骤讲解安装流程,强调Hadoop和Zookeeper的依赖,特别是版本兼容性问题。此外,需要提到配置hbase-site.xml和hbase-env.sh的注意事项,以及启动和停止集群的顺序,避免进程卡住的问题。还要解决类路径错误,如引用3提到的修改hbase文件添加依赖包。 接下来,我需要按照逻辑组织步骤:环境准备、Hadoop和Zookeeper安装HBase配置、启动与验证、注意事项。每个步骤中要包含关键命令和配置示例,使用代码块展示。同时,要提醒用户注意停止集群的正确顺序,避免强制杀进程。最后生成相关问题,覆盖兼容性、Zookeeper配置、错误处理、性能优化和应用场景。 需要检查是否遗漏了任何关键点,例如Hadoop集群的预先搭建、配置文件的详细修改、端口号等。确保所有引用内容都被合理引用,标注正确的引用标识。避免使用用户不可见的格式,保持回答结构清晰,符合用户要求的可见层指导。</think>### HBase完全分布式集群安装部署教程 #### 一、环境准备 1. **基础依赖** HBase集群必须建立在Hadoop(HDFS)基础之上,需预先完成Hadoop完全分布式集群部署,并确保两者版本兼容性[^2]。建议使用HBase 2.4.x搭配Hadoop 3.x版本。 2. **Zookeeper配置** 完全分布式环境需单独部署Zookeeper集群(至少3节点),并在HBase配置中关闭自带的Zookeeper[^4]: ```bash export HBASE_MANAGES_ZK=false # 在hbase-env.sh中配置 ``` #### 二、关键配置文件 1. **hbase-site.xml** 配置核心参数(位于`$HBASE_HOME/conf/`目录): ```xml <configuration> <!-- HDFS存储路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://your-namenode:8020/hbase</value> </property> <!-- 启用分布式模式 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- Zookeeper集群地址 --> <property> <name>hbase.zookeeper.quorum</name> <value>zk-node1,zk-node2,zk-node3</value> </property> </configuration> ``` 2. **regionservers文件** 添加所有RegionServer节点主机名: ```text node1 node2 node3 ``` #### 三、集群启动流程 1. **启动顺序** ```bash # 先启动Hadoop集群 start-dfs.sh && start-yarn.sh # 再启动Zookeeper集群 zkServer.sh start # 在所有Zookeeper节点执行 # 最后启动HBase start-hbase.sh ``` 2. **访问验证** 通过浏览器访问`http://master-node:16010`查看集群状态[^3]。 #### 四、常见问题处理 1. **类路径错误** 若出现`Error: Could not find or load main class`,需编辑`$HBASE_HOME/bin/hbase`文件,在第161行添加HBase自身依赖路径[^3]: ```bash HBASE_CLASSPATH="$HBASE_HOME/lib/*" ``` 2. **进程停止卡顿** 停止集群时必须按顺序执行: ```bash stop-hbase.sh → stop-zookeeper.sh → stop-hadoop.sh ``` 违反顺序可能导致进程无法正常终止,需使用`kill -9`强制结束。 #### 五、配置优化建议 1. 在`hbase-env.sh`中明确指定JAVA_HOME路径[^4] 2. 根据硬件资源调整`hbase.regionserver.handler.count`(默认30) 3. 开启BucketCache优化读性能
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据研习社

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值