HBase集群搭建

最新推荐文章于 2024-11-06 21:38:23 发布
原创 最新推荐文章于 2024-11-06 21:38:23 发布 · 308 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #hadoop #big data

本文档详细介绍了如何启动Hadoop和Zookeeper，然后在三台节点上部署HBase集群，包括环境变量配置、配置文件修改、集群同步以及验证启动过程。

1.启动hadoop&启动zookeeper

#1.启动hadoop
start-all.sh
#2.查看进程
jps
#3.启动zookeeper(需要在三台中分别启动)
zkServer.sh start
#4.查看zk状态
zkServer.sh status
master

在这里插入图片描述

node1

在这里插入图片描述

node2

在这里插入图片描述

2.上传hbase压缩包并解压

上传压缩包

在这里插入图片描述

解压
tar -zxvf hbase-1.4.6-bin.tar.gz -C /usr/local/soft/

在这里插入图片描述

3.配置环境变量

vim /etc/profile
#1.追加以下内容
export HBASE_HOME=/usr/local/soft/hbase-1.4.6
export PATH=$HBASE_HOME/bin:$PATH
#2.刷新
source /etc/profile

在这里插入图片描述
在这里插入图片描述

4.修改配置文件

#1.进入hbase的conf目录下
cd /usr/local/soft/hbase-1.4.6/conf/

在这里插入图片描述

修改hbase-env.sh
vim hbase-env.sh
#追加以下内容
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
#关闭默认zk配置
export HBASE_MANAGES_ZK=false

在这里插入图片描述
在这里插入图片描述

修改hbase-site.xml
vim hbase-site.xml 
#追加以下内容
<configuration>
    <property>
　　　　<name>hbase.rootdir</name>
　　　　<value>hdfs://master:9000/hbase</value>
　　</property>
　　<property>
　　　　<name>hbase.cluster.distributed</name>
　　　　<value>true</value>
　　</property>
　　<property>
　　　　<name>hbase.zookeeper.quorum</name>
　　　　<value>node1,node2,master</value>
    </property>
</configuration>

在这里插入图片描述

修改regionservers
vim regionservers 
#追加以下内容
node1
node2

在这里插入图片描述

5.同步到其它节点

scp -r hbase-1.4.6/ node1:`pwd`
scp -r hbase-1.4.6/ node2:`pwd`

6.启动hbase集群

start-hbase.sh

7.查看进程

jps
master

在这里插入图片描述

node1

在这里插入图片描述

node2

在这里插入图片描述

8.验证

在这里插入图片描述

zookeeper+hbase集群搭建
04-15
在本文中，我们将深入探讨如何搭建一个Zookeeper和HBase集群，以及在过程中可能遇到的常见问题和解决方案。Zookeeper和HBase都是大数据处理领域的关键组件，Zookeeper作为一个分布式协调服务，而HBase是一个基于...
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1439
Hadoop 搭建高可用集群--zookeeper
最细教学！！ 分布式文件系统：Hadoop之Zookeeper的安装与配置
weixin_49104143的博客
07-17 2270
分布式文件系统：Hadoop之Zookeeper的安装与配置 “echo $PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。将Zookeeper目录和.bash_profile文件发送给集群中所有主机然后每台执行source ~/.bash_profile使环境变量生效。进入Zookeeper相关文件的目录，分别创建用于存放数据文件的目录data和存放日志文件的logs目录。使新的配置的环境变量立即生效。配置Zookeeper相关的环境变量。关闭所有主机的防火墙。
Hadoop HA 集群部署（以三台为例），zookeeper集群管理
youhebuke_f的博客
10-05 3982
Hadoop ha高可用集群部署
hadoop和zookeeper的安装与配置
G_GUi的博客
10-02 4513
hadoop和zookeeper的安装与配置 1. 安装好linux虚拟机、Xshell、Xftp 2. 解压安装jdk、hadoop、zookeeper的压缩包 3. 配置linux主机设置与环境 4. 编写并添加hadoop的配置 5. 编写zookeeper的配置 6. 克隆机器（奇数） 7. 启动集群 ...
Hadoop（3）—— Zookeeper（4）—— zookeeper服务的启动和关闭
weixin_54348877的博客
10-19 2419
1. 启动 zookeeper 服务 分别在hadoop01、hadoop02、hadoop03中， 输入：zkServer.sh start 2. 查看 zookeeper 角色 查看在确保每台主机都启动了服务下，分别在hadoop01、hadoop02、hadoop03中， 输入：zkServer.sh status 3. 关闭zookeeper 服务 输入：zkServer.sh status ...
Hbase集群搭建
qq_74922407的博客
08-11 740
其它两个节点出现：HRegionserve。说明你没有启动起来，所以在启动之前你须要。
HBase集群搭建与使用
04-20 363
本文着重介绍hbase概念、存储原理、集群搭建、shell指令、javaAPI、hive整合habse等内容
Hadoop生态圈框架部署（五）- Zookeeper完全分布式部署
zcs2312852665的博客
11-06 2034
介绍在虚拟机hadoop1、hadoop2和hadoop3部署完全分布式Zookeeper配置zookeeper配置文件配置zookeeper环境变量启动zookeeper及查看zookeeper集群状态提供shell脚本自动化安装zookeeper完全分布式。
Hadoop-HDFS HA集群搭建（zookeeper）
weixin_46662378的博客
06-15 1001
hadoop-hdfs ha模式搭建
Hive集群部署启动Zookeeper&Hadoop&MySQL&Hive操作详细步骤
林世广
06-19 3933
Hive集群部署启动Zookeeper&Hadoop&MySQL&Hive操作详细步骤
虚拟机（Hadoop，zookeeper,hbase）启动步骤
qq_48669899的博客
06-19 3492
** 启动顺序和步骤** 1 启动顺序先启动 zookeeper ——hadoop——hbase 启动zookeeper命令 需要两台机器（这里小编用的两台）别的都在主机启动 3 4就行，从机只需要启动zookeeper 启动命令 zkServer.sh start 查看状态 zkServer.sh status jps查看进程 QuorumPeerMain 启动 hadoop命令 3 启动 start-all.sh 关闭 stop-all.sh 启动hbas..
hadoop02--zookeeper集群搭建
干就完了
09-07 1901
安装zookeeper需要保证自己的虚拟机上有jdk，因为我们的zookeeper其实是用Java来进行编写的，因此就需要有jdk环境.............................................................
Day52 Zookeeper的安装与使用、HA的搭建、MapReduce框架概述
m0_64350718的博客
04-05 1803
ZooKeeper的安装与配置 1、上传安装包到master并解压 tar -zxvf zookeeper-3.4.6.tar.gz 这里所使用的zooKeeper-3.4.6的压缩包版本过低，可能无法完成zookeeper中的一些操作命令，建议安装zookeeper-3.5.7版本或者更高版本 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export PA...
hbase hadoop zookeeper的启动和停止的顺序
lzlnd的博客
12-18 5109
启动顺序 Hadoop及hbase集群启动顺序zookeepeer-&gt;hadoop-&gt;hbase 停止顺序 Hadoop及hbase集群关闭顺序hbase-&gt;hadoop-&gt;zookeepeer 启动和停止ZK   /home/zookeeper-3.4.6/bin/zkServer.sh start | stop 启动和停止hadoop集群  方式一： 启停...
hadoop+hbase+zookeeper启动步骤
jgzd1124的专栏
07-11 766
1. hadoop 启动 ./start-all.sh 或是 hadoop namenode -format ./start-dfs.sh ./start-yarn.sh  jps 查看启动情况 2.zookeeper启动 ./zkServer.sh start 3.hbase 启动 ./start-hbase.sh
Hadoop+Zookeeper实现hadoop高可用
weixin_42446031的博客
05-23 5204
一、zookeeper高可用 1.在上一章的基础上关闭之前的服务，并清理环境 [hadoop@server1 hadoop]$ sbin/stop-dfs.sh [hadoop@server1 hadoop]$ jps 2244 Jps [hadoop@server1 hadoop]$ rm -fr /tmp/* [hadoop@server2 hadoop]$ rm -fr /tmp/* [h...
Hadoop生态基础java环境搭建，zookeeper安装与启动
reyongye的博客
07-07 292
1.连接主机 使用VPN连接宏亚后本地使用xshell等工具进行连接，明天的测试可能会给出相关教程，教你连接他们的VPN，连接后使用xshell远程登录对应主机，master、slave1、slave2， 打开xshell，点击左上角新建会话输入对应信息 例： 单击连接，输入对应用户名，密码 三台虚拟机依次操作同样步骤 2.基础环境搭建 1.检查并修改主机名 最左边如果不是root用户，也就是最左边不是root字样，则使用su命令并输入密码获得root权限，输入密码时并不会显示已输.
hbase集群搭建
最新发布
03-16
### HBase 集群搭建教程 #### 安装准备 在开始搭建 HBase 集群之前，需要确保所有节点的操作系统版本一致，并完成必要的软件安装。例如，在 CentOS 9 上可以使用解压方式进行安装[^1]。 ```bash tar -zxvf /software/hbase-2.5.8-bin.tar.gz -C /opt ``` 为了方便管理，建议将 HBase 添加到系统的环境变量中。 #### 环境配置 对于完全分布式的 HBase 集群，需特别注意 Java 的路径设置以及 ZooKeeper 的管理模式。以下是具体的配置步骤： ##### 配置 `hbase-env.sh` 文件 进入 HBase 的 `conf` 目录并编辑 `hbase-env.sh` 文件，指定 JDK 路径和禁用内置 ZooKeeper 实例[^2]。 ```bash export JAVA_HOME=/home/hd/software/jdk1.8.0_144 export HBASE_MANAGES_ZK=false ``` 上述命令明确了外部 ZooKeeper 的使用需求，从而提升集群的稳定性和性能。 #### 核心文件配置 除了基础环境外，还需要调整多个核心配置文件来适配分布式场景的需求。 ##### 编辑 `hbase-site.xml` 此文件定义了 HBase 运行的关键参数，包括存储位置、ZooKeeper 地址等。以下是一个典型的配置示例[^3]: ```xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://namenode:8020/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>zookeeper.znode.parent</name> <value>/hbase-unsecure</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>zk1,zk2,zk3</value> </property> </configuration> ``` 以上配置指定了 HDFS 存储路径、启用分布式模式以及连接至特定的 ZooKeeper 集群。 #### 硬件资源规划 硬件资源配置也是成功部署的重要因素之一。通常情况下，Master 节点应具备较高的内存容量（如 24GB），以便支持 NameNode 和 ResourceManager 的高效运作[^4]。 --- ### 总结 通过合理分配角色、优化网络通信及充分考虑软硬件条件，能够显著提高 HBase 集群的整体表现。具体实施过程中还需依据实际业务负载进一步调优各项参数。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值