centos7部署hbase三台

【linux】在三台阿里云服务器上搭建hbase集群(centos7) 在搭建好hadoop集群和zookeeper集群的基础上,进行hbase集群的搭建。 1.下载hbase https://archive.apache.org/dist/hbase/ 2.在/usr路径下新建文件夹hbase,存放hbase压缩包 进入/usr/hbase,进行解压 tar -zxf hbase-2.0.0-bin.tar.gz 3.配置hbase集群 配置hbase集群,要修改4个文件 , copy两个文件以及新建一个文件 【拷贝】 将hadoop的hdfs-site.xml和cor 阅读详情

前提条件:

    假设Zookeeper、Hadoop服务已经部署完毕且和HBase在同一个集群,没部署完需要先部署Zookeeper、Hadoop。

安装前注意事项:

  • 检查HBASE集群每台服务器的时间是否是一致的,不然会导致集群启动异常,检查服务器时间用命令:date -R

安装并修改HBASE配置文件

hbase的配置文件在 HBASE_HOME/conf 下,需要修改的配置文件有:

    hbase-env.sh,hbase-site.xml,regionservers,backup-masters(该文件需要手动创建)

假设三台机器ip分别为:10.2.93.164、10.2.93.144、10.2.93.161,实际部署时换成实际IP,机器数量超过3时,操作同理。

在master 10.2.93.164上进行操作:

1、配置hbase-env.sh文件,该文件用于设置HBase的工作环境,包括 JAVA和其他环境变量的配置,该文件的改动需要重启HBase才能生效(默认配置文件中有详细的配置都注释掉了,可以):

# JAVA_HOME路径,可用echo $JAVA_HOME获得

export JAVA_HOME=/usr/local/jdk1.8

# 关闭Hbase自带的zookeeper集群

export HBASE_MANAGES_ZK=false

2、配置hbase-site.xml文件,HBase主要的配置文件,该文件可覆盖HBase的默认配置,可以在HBase Web UI的HBase配置选项中查看整个集群的有效配置,包括默认和覆盖的:

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!--  这个目录是region服务器共享的目录,用来持久存储HBase的数据,

                    默认值为:${hbase.tmp.dir}/hbase,如果不修改这个配置,数据将会在集群重启时丢失。 -->

    <property>

        <name>hbase.rootdir</name>

        <!-- hadoop引入JQM负载均衡时,这里配置dfs.nameservices指定的集群逻辑名称 -->

        <value>hdfs://mycluster/hbase</value>

        <!-- 指定Hadoop master服务器的写法,hbase监听hdfs默认的端口是9000,这里的配置端口只能写9000 -->

        <!--<value>hdfs://ip:port/hbase</value>-->

    </property>

     

    <!-- 指定hbase集群为分布式集群 -->

    <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

    </property>

    

    <!-- 指定zookeeper集群,有多个用英文逗号分隔 -->

    <property>

        <name>hbase.zookeeper.quorum</name>

        <value>10.2.93.164:8181,10.2.93.144:8181,10.2.93.161:8181</value>

    </property>

    <!-- Zookeeper元数据快照的存储目录(需要和Zookeeper的zoo.cfg 配置文件中的属性一致)  -->

    <property>

        <name>hbase.zookeeper.property.dataDir</name>

        <value>/home/aitpm/software/zookeeper-3.4.14/data</value>

    </property>

     

    <property>

    <name>hbase.master.port</name>

    <value>8610</value>

   </property>

 

   <property>

    <name>hbase.master.info.port</name>

    <value>8611</value>

   </property>

 

   <property>

    <name>hbase.regionserver.port</name>

    <value>8620</value>

   </property>

 

   <property>

    <name>hbase.regionserver.info.port</name>

    <value>8621</value>

   </property>   

    

  <!-- 指定HBase Master web页面访问端口,默认端口号16010 -->

    <!--

         <property>

        <name>hbase.master.info.port</name>

        <value>8601</value>

    </property>

   -->

    

   <!-- 指定HBase RegionServer web页面访问端口,默认端口号16030 -->

    <!---    <property>

        <name>hbase.regionserver.info.port</name>

        <value>8603</value>

    </property>

    -->

    

  <!-- 解决启动HMaster无法初始化WAL的问题 -->

    <property>

        <name>hbase.unsafe.stream.capability.enforce</name>

        <value>false</value>

    </property>

 

</configuration>

3、新建 backup-masters文件,添加备份HMaster机器名,该文件不能写注释,启动时会把注释的那行当成服务器列表而导致启动失败:

#改成实际机器名

10.2.93.164

4、修改regionservers配置文件,添加HBase集群中运行RegionSever的主机名或IP列表,每行一个(分布式部署可以把默认的一行localhost删除掉),该文件不能写注释,启动时会把注释的那行当成服务器列表而导致启动失败:

#改成实际机器名

10.2.93.164

10.2.93.144

5、Hadoop引入JQM负载均衡机制需要把Hadoop的core-site.xml和hdfs-site.xml两个配置文件拷贝到HBASE的配置文件目录中,不然会导致HBASE集群无法启动。不引入JQM就无须拷贝。

6、把hbase安装目录分发给其他节点,按照官方文档的提示,所有节点的配置文件信息要保持完全一样

scp -r /home/aitpm/software/hbase-2.2.5 10.2.93.144:/home/aitpm/software/

scp -r /home/aitpm/software/hbase-2.2.5 10.2.93.161:/home/aitpm/software/


启动HBASE服务

在master节点运行启动命令,会同步启动master的备份节点和regionServer节点:

cd /home/aitpm/software/hbase-2.2.5/bin

./start-hbase.sh

使用jps命令查看hbase进程

jps

master服务器和备用master服务器会启动HMaster,HRegionServer两个进程

slave服务器会启动HRegionServer一个进程

访问web页面查看是否正常:

master:http://10.2.93.164:8611/

backup master:http://10.2.93.144:8611/

region server(三个ip均可):http://10.2.93.164:8621/

Hadoop+HBase 集群搭建 Hadoop+HBase 集群搭建 Hadoop+HBase 集群搭建 1. 环境准备 说明:本次集群搭建使用系统版本Centos 7.5 ,软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器,具体说明下: ... 阅读详情

相关推荐

CentOS 7配置hadoop和hbase伪分布式模式保姆级教程(近乎零基础跟着配也能配对)

为你配置hadoop和hbase伪分布式模式开启宝宝模式

m0_73099445的博客 4488

Hbase三台机器完全分布式搭建

HBASE搭建到 mynode3、mynode4、mynode5节点上,其中mynode4是HMaster,mynode5为备用Master 1.两两节点之间免密并且时间同步 这个网上有可以查 2.上传解压包,配置HBase环境变量 在node4节点,上传解压到路径:/software/hbase-1.2.9 tar -zxvf hbase-1.2.9-bin.tar.gz 在node4节点上vim /etc/profile,写入如下内容: export HBASE_HOME=/software/hbase

vca821_opa847的博客 1008

centos7 安装 hbase

HBase 下载      下载 cdh hbase 版本      下载路径           http://archive.cloudera.com/cdh5/cdh/5/       选择相应的版本 在末尾添加.tar.gz 就可以下载了      例如:           hbase-1.2.0 的 cdh5.9.0版本           http://archive.clouder...

Qhearts的博客 1411

centos7搭建hbase集群实验(三节点)

学习目标:centos7搭建hbase集群 学习内容: 详细步骤 1、配置虚拟机静态ip 2、配置免密连接登录 3、java安装及环境配置 4、hadoop集群安装配置 5、zookeeper集群安装配置 6、hbase集群安装配置 一、配置虚拟机静态ip centos7的网络IP地址配置文件在 /etc/sysconfig/network-scripts 文件夹下,修改的配置文件为ifcfg-ens**,可能ifcfg-ens之后的编号不同,我这里是ifcfg-ens33。 [root@localh

qq_45864778的博客 747

高德地图可视化入门:零基础用Python+高德API打造你的第一个热力图

本文详细介绍了如何使用Python和高德地图API从零构建商业级热力图。通过环境配置、地理编码、数据清洗到最终可视化展示的全流程指南,帮助开发者快速掌握地图可视化技术,特别适合展示商圈人流、疫情热点等地理分布数据。

weixin_29053067的博客 307

VC Spyglass实战指南:从零开始掌握CDC约束配置与调试

本文详细介绍了如何使用VC Spyglass进行CDC约束配置与调试,从基础环境搭建到典型CDC问题调试实战,帮助开发者快速掌握跨时钟域验证技术。通过TCL脚本和SDC约束的深度解析,提升CDC验证效率,避免常见设计风险。

weixin_26757925的博客 298

Hbase【安装篇】03:Hbase【集群】【手动】安装部署

Hbase【集群】【手动】安装部署

weixin_40612128的博客 1170

ICNN实现入侵检测的思路与源码(CIC-IDS-2017)

基于ICNN实现入侵检测,可用于现实网络

t1274171989的博客 8415

【大数据】HBase 集群部署:全流程详细步骤解析

零基础手把手教学安装HBase分布式集群(非常详细)!

有知识,世界会更大 2537

PVE虚拟机运行不流畅,出现卡顿。

🏆本文收录于《优快云问答解惑-专业版》专栏,主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!!

**My Coding Family** 3065

SAP Fiori Launchpad 上看不到任何 tile 应该怎么办?

中心UI组件是一个框架,为所有SAPFiori应用程序提供公共基础设施SAPFiorilaunchpad是所有SAPFioriUI的基础,并为SAPFiori应用程序提供基本功能,如登录,界面大小,应用程序之间的导航,和基于角色的应用程序目录。ABAP前端服务器包含所有基础设施组件,用于为客户端生成SAPFiori应用程序特定的UI,并与SAPBusinessSuite后端系统通信。SAPFiori应用程序的处理过程如下首先,客户端加载SAPFiori应用程序的界面。...

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 946

hbase 在三台centos7上的分布式集群的配置部署

linux镜像是centos7  Hadoop版本2.8.0  zookeeper版本3.5.1  hbase版本1.3.1  jdk 1.8hadoop 部署zookeeper的部署hbase的部署 注意点一:在集群各个节点的/var目录下面创建一个文件夹: sudo mkdir -p /var/hadoop/pids,记得更改这个文件夹的权限,chown -R hadoop:hadoop /v...

骷髅头的寂寞的博客 783

【Autoware】2小时安装Autoware1.13(保姆级教程)

Autoware是一款“一体化”开源自动驾驶软件,能实现感知、决策、控制等功能,通过在Ubuntu中搭建Autoware开发环境和案例的运行,使大家对自动驾驶技术的实现有一个更清晰的认识。

DevFrank的博客 1万+

HBase集群搭建(一)

1.准备三台机器 centos7 安装步骤 略( 可以看我的 虚拟机安装 centos7 文章) 2.配置免秘钥访问 略(可以看我的免秘钥配置文章) 3.JKD 安装1.8 略 4.下载 HBase https://hbase.apache.org/downloads.html 5.安装 tar -zxvf hbase-2.2.5-bin.tar.gz mv hbase-2.2.5 /opt/hbase/ 6.修改环境变量 cd /opt/hbase/hbase-2.2.5/conf/ vi hbase

让每一行代码都有改变世界的力量 1135

【Bug已解决】Codex capacity errors 自动重试与意图保留 解决方案

原始报错:Codex Desktop: capacity errors should preserve intent and auto-retry instead of handing model routing back to the user场景:向模型服务发请求时遇到容量错误(服务端繁忙 / 限流 / 容量不足),客户端不做任何重试,直接把"请求失败,请选择另一个模型或重试"的锅甩给用户,让用户手动去点。用户本来只是想完成一次任务,却被中途打断去当"调度员"。

博客 279

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

hadoop+zookeeper+hbase分布式集群搭建

目录 0.安装CentOS7 1.修改CentOS7基础配置(3台主机都配置) 2.安装JDK(3台主机都配置) 3.安装hadoop-2.7.5(3台主机都配置) 4.通过master启动hadoop 5.配置ssh免登陆(3台主机都配置) 6.安装zookeeper-3.4.5 7.安装hbase-2.1.0(3台主机都配置) 8.启动hbase 0.安装CentOS...

_ 514

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

hadoop3.2.3+flink1.13.0+hbase2.4.8集群搭建

export/data/zookeeper-3.8.0路径下创建一个文件,文件名为myid ,文件内容为1。修改 workers 文件,将另外两台节点服务器添加为本 Flink 集群的 TaskManager 节点。进入 conf 目录下,修改 flink-conf.yaml 文件。修改 conf 目录 hbase-env.sh 文件。直接在第二台机器任意路径执行以下命令。直接在第三台机器任意路径执行以下命令。第二台机器上修改myid的值为2。第三台机器上修改myid的值为3。namenode 格式化。..

u013122278的博客 1131

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

HBASE0.98.5真分布集群环境安装配置

软件:hadoop2.5.0,

KNIFE_PAN的专栏 934

SUPERMAP大数据平台安装

文章目录大数据平台安装部署准备服务器规划软件安装版本`ssh`免密登录配置绑定ip和修改计算机名配置ssh服务配置`ssh`免密登录jdk安装hadoop部署配置hadoophadoop集群搭建hadoop启动hadoop集群检查spark部署spark安装配置spark配置spark集群spark启动spark集群检查zookeeper部署配置zookeeper集群zookeeper启动hbase部署配置hbase集群hbase启动hbase集群检查superMap iObjects for Spark

fengnzx 856

记一次 Centos7.6 基于 Hadoop3.x 集群部署 HBase 2.4.0 集群

基本信息 安装部署 [root@master ~]# wget -P /usr/bigdata/ https://mirror.bit.edu.cn/apache/hbase/2.4.0/hbase-2.4.0-bin.tar.gz [root@master ~]# cd /usr/bigdata/ [root@master bigdata]# tar zxf hbase-2.4.0-bin.tar.gz [root@master bigdata]# ll [root@master ~]# cd /us

一花一世界 2774

基于CentOS 7 的OpenTSDB部署与使用——HBase的安装

OpenTSDB 是基于 HBase 存储时间序列数据的一个开源数据库,对于存储监控系统采集的数据来说非常合适,不仅在写入查询上有很高的效率,而且节省存储空间。 安装HBase 因为 OpenTSDB 的后端存储使用的是 HBase,所以我们需要先安装 HBase。 参考文档: Quick Start - Standalone HBase 这里简单搭建了一个单机的 HBase 环境: ...

zx711166的博客 2351

CentOS7下安装使用HBase

目录 背景 数据结构 安装 启动hadoop、kafka、ZooKeeper 解压hbase压缩包 配置HBase 启动hbase 关闭hbase 进入hbase命令行 命令 创建表,指定列族 插入数据,指定行键、列族限定符和值 扫描表 获取单行数据 删除数据(单元格) 禁用并删除表 让表支持多版本数据 与hive集成 与pig集成 行键设计原则 长度原则 唯一原则 散列原则 协处理器的使用 结语 背景 记录下HBase在CentOS7下的安装过程,请事

四国棋客 1597

CentOS7下的大数据NoSQL数据库HBase集群部署

通过以上步骤,可构建一个基于 Hadoop 生态的高可用 HBase 集群,支撑海量数据的实时存储与查询。生产环境中需结合业务场景优化 Region 分布、内存配置及存储策略,并利用 HBase 生态工具(如 Phoenix、HBase Shell)提升开发效率。参考官方文档()可进一步学习二级索引、协处理器等高级特性。

2401_83224865的博客 1317

centos6.7部署HBase

centos6.7部署HBase 一.前言 配置前可以自行选择配置zookeeper 由于大三学习需要,而且网上的教程都有点模糊,导致我走了不少弯路,因此我写下这篇博客,本文仅供参考,如果有不足之处,还望指出。 二.下载安装 1.镜像下载,这里用的是清华镜像下载的hbase-1.4.13版本,这里要注意的是hbase的版本可能会有与Hadoop和jdk不兼容的问题,可以参考以下链接: http://hbase.apache.org/book.html#java(官网) https://blog.csdn.n

weixin_45654619的博客 377

CentOS伪分布式部署HBase

上一节介绍了在CentOS7.3上单机部署Hadoop 2.8.5,本节介绍在CentOS7.3上单机部署HBase 2.1.5。 1、解压HBase [root@hadoop hadoop]# tar -zxvf hbase-2.1.5-bin.tar.gz -C /usr/hadoop/ 配置hadoop环境变量。 [root@centos hadoop]vim /etc/...

wm6752062的专栏 712
上一篇: 解决CentOS lspci(command not found)方法
下一篇: 分布式部署es集群
node_One
博客等级 码龄8年 7粉丝 40原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值