大数据集群搭建(6)——Hbase集群的搭建

本文详细介绍了HBase集群的搭建过程,包括创建目录、配置环境变量、修改配置文件、同步时间、启动服务等关键步骤,适合初学者快速上手。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hbase集群的搭建

1.创建hbase目录,上传并解压安装包

cd /usr

mkdir hbase

cd hbase

rz(选中上传准备好的hbase安装包)

tar –zxvf xxxxxxxx

2.将hadoop的hdfs-site.xmlcore-site.xml 拷贝到hbase的conf

cp /usr/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml  /usr/hbase/hbase-2.0.0/conf/

cp /usr/hadoop/hadoop-2.7.7/etc/hadoop/core-site.xml  /usr/hbase/hbase-2.0.0/conf/

3.修改conf/hbase-env.sh文件(去掉#注释,前方不要有空格)

# The java implementation to use.  Java 1.8+ required.

export JAVA_HOME=/usr/etc/jdk1.8.0_181

# Tell HBase whether it should manage it's own instance of ZooKeeper or not.

export HBASE_MANAGES_ZK=false

4.修改hbase-site.xml文件(在<configuration></configuration>中添加)

<!-- 指定hbase在HDFS上存储的路径 -->

        <property>

                <name>hbase.rootdir</name>

                <value>hdfs://master:9000/hbase</value>

        </property>

        <!-- 指定hbase是分布式的 -->

        <property>

                <name>hbase.cluster.distributed</name>

                <value>true</value>

        </property>

                <!-- 指定zk的地址,多个用“,”分割 -->

        <property>

                <name>hbase.zookeeper.quorum</name>

                <value>master:2181,slaver1:2181,slaver2:2181</value>

        </property>

        <property>

                <name>hbase.master.maxclockskew</name>

                <value>150000</value>

        </property>

        <property>

                <name>hbase.master.info.port</name>

                <value>60010</value>

        </property>

5.修改 regionservers文件

[root@master conf]# vi regionservers

master

slaver1

slaver2

6.拷贝hbase到其他节点

scp -r /usr/hbase/ root@slaver1:/usr/hbase/

scp -r /usr/hbase/ root@slaver2:/usr/hbase/

7.同步时间(3台都要执行)

centos 安装 ntpdate 并同步时间

在命令行中做如下操作,来安装ntpdate

yum install -y ntp

继续在命令行中操作,进行同步时间

ntpdate 210.72.145.44

8.启动

8.1.启动Zookeeper(3台)

[root@master bin]# ./zkServer.sh start

8.2.启动hdfs

start-all.sh

8.3.启动habase

[root@master bin]# ./start-hbase.sh

9.查看

9.1.通过jps查看

9.2.通过浏览器查看(60010端口)

 

### 如何在Ubuntu操作系统上搭建大数据集群 #### 准备工作 为了确保能够顺利地在Ubuntu上构建大数据集群,需先准备好必要的基础环境。这包括但不限于安装Docker来简化部署流程以及准备合适的Linux发行版。 对于Ubuntu的选择,建议采用稳定版本如Ubuntu 18.04 LTS或更高版本以获得更好的支持和服务[^1]。同时,在实际操作前应确认已禁用了防火墙并更新了系统软件包列表: ```bash sudo ufw disable sudo apt-get update && sudo apt-get upgrade -y ``` #### Docker容器化部署方案 考虑到跨平台兼容性和便捷性,推荐通过Docker容器运行CentOS作为节点操作系统。具体做法是从官方仓库拉取最新的CentOS镜像,并创建相应的容器实例用于后续的大数据组件安装与配置。 #### 基础工具安装 无论是直接基于Ubuntu还是在其上的Docker容器内执行操作,都需要预先安装一些常用的开发和管理工具,比如Vim编辑器、OpenSSH服务端程序等。这些可以通过简单的APT命令快速完成设置: ```bash sudo apt-get install vim openssh-server -y ``` 另外,针对VMware环境下可能遇到的问题,还应该考虑安装`open-vm-tools`及其桌面扩展模块来增强虚拟机的功能特性[^2]。 #### Java环境配置 鉴于大多数主流的大数据分析框架都依赖于JDK的支持,因此必须提前布置好Java运行时环境。这里可以选择安装Oracle JDK或是开源替代品——OpenJDK 1.8.x系列版本之一。利用YUM包管理器可以在CentOS环境中轻松实现这一点;而对于原生Ubuntu,则继续沿用APT方式处理: ```bash # CentOS下的Java安装 yum install java-1.8.0-openjdk-devel -y # Ubuntu下的Java安装 sudo apt-get install default-jdk -y ``` #### 大数据组件选型与部署 最后一步就是挑选合适的大数据技术栈成员来进行集群组建。例如Hadoop作为一个广泛认可的事实标准,其最新稳定版本(如3.3.6)可通过官方网站获取二进制分发文件后手动解压至指定目录启动使用。而其他关联项目如HBase也可以参照相似的方法集成进来形成完整的解决方案集[^3]。 #### 实际案例分享 有用户成功实现了基于Ubuntu 18.04的多节点Hadoop完全分布式的集群架构建设,整个过程中涉及到了服务器版ISO映像下载、虚拟机批量克隆复制等一系列前期准备工作[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值