HBase篇--搭建HBase完全分布式集群

HBase完全分布式集群环境搭建过程总结 一、前言 暑期实验室实习学姐告知学习HBase,便利用复习之余的时间搭建HBase环境,先前不了解搞了个单机版的,学姐说实验室开发不用单机2333[尴尬],于是又开始创建虚拟机开始完全分布式集群环境的搭建。搭建主要是各种百度,也遇到了一些bug,也来来回回删增了很多虚拟机[哭泣],在这里主要是进行一个简单的总结,要是能帮上大家就很开心啦~\(≧▽≦)/~ 二、准备 Ubuntu16... 阅读详情

一.前述。

完全分布式基于hadoop集群和Zookeeper集群。所以在搭建之前保证hadoop集群和Zookeeper集群可用。可参考本人博客地址

https://www.cnblogs.com/LHWorldBlog/p/8232935.html搭建hadoop集群

二.集群规划。

说明:因为HMaster主节点和从节点不会自动切换,所以需要互相配置免密,并且配置从主节点到从节点的免密,备节点到从节点的免密。

推荐使用ssh-copy-id 主机名称 即从当前节点免密到其他节点。当不能用时推荐使用如下命令:

ssh-copy-id -i ~/.ssh/id_dsa.pub root@node04

三.搭建流程

3.1 时间同步ntpdate(一定要注意时间同步!!!)
             yum install ntp -y
             ntpdate 时间服务器

3.2 hbase-env.sh配置
JAVA_HOME
HBASE_MANAGES_ZK=false(关闭Hbase本身的zookeeper集群)

3.3 hbase-site.xml配置

<configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster/hbase</value><--在HDFS上创建一个干净的节点,用于存放元数据-->
  </property>
  <property>
    <name>hbase.cluster.distributed</name><--是否开启分布式-->
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name><--对应的zookeeper集群,不用加端口-->
    <value>node02,node03,node04</value>
  </property>
</configuration>

3.4 regionservers配置

node02
node03
node04


3.5 backup-masters配置(注意backup-masters需要手动创建)

node02

3.6 将hdfs当中的hdfs-site.xml 拷贝hbase的conf目录下(因为存储数据需要在hdfs上)

实际上以上三种方式将Hdfs和Hbase整合,推荐使用拷贝hdfs.xml到hbase的配置目录中。

3.7 配置文件分发
    
  保证集群当中每一台服务器配置文件相同

3.7 启动节点

在node01(Master节点) 执行 bin/start-hbase.sh启动主节点。
在node02(backup-Master节点) 执行 bin/start-hbase.sh启动备份节点。最好配置成全局,加载到环境变量中去。

 

主节点:Hmaster

 

从节点:(归属于某个主节点)

至此,完全分布式集群搭建完毕。!!!!

 

持续更新中。。。。,欢迎大家关注我的公众号LHWorld.

 

 

 

 

Hadoop集群的完整搭建(Hadoop完全分布式+ZooKeeper+Mysql+Hive+Hbase完全分布式+Spark完全分布式) Hadoop集群的完整搭建准备工作网络环境的配置修改网关、IP配置映射、主机名重启网络服务,测试ssh的配置jdk的安装Hadoop完全分布式的安装准备工作修改配置文件slaveshadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml分发到其他节点测试安装Zookeeper准备工作修改配置文件分发即修改文件测试 准备工作 网络环境的配置 修改网关、IP 打开要修改的文件(最后一个文件名可能每个人的不一样) 阅读详情

相关推荐

【HBase基础教程】2、HBase之完全分布式模式安装

上一篇blog我们介绍了Hbase的单机模式安装与伪分布式的安装方式,本篇blog我们将详细介绍如何搭建hbase完全分布式环境,搭建hbase完全分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop完全分布式环境请参考:【Hadoop基础教程】4、Hadoop之完全分布式环境搭建

andieguo的专栏 6137

九、Rocky Linux 9.x安装Hbase2.6.1分布式集群

Hbase是个非关系型分布式数据库(NoSQL)HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以对稀疏文件提供极高的容错率。

Mr_lqh325的博客 1268

Hbase1.3.1 完全分布式搭建。

hbase的搭建是比较简单的,无论是单机模式还是分布式都相对容易。本人选择的是1.3.1的版本,按照官方的文档很快就搭建起来了,但是启动的时候出现了错误。无论是baidu还是google都没有找到答案,起初还以为是版本差异,然后使用了1.2.6版本,结果还是原来的错误,看了错误日志之后也是云里雾里的,后来无意间发现了问题的根源,然后 继续使用1.3.1了,在这里记录一下。在搭建Hbase之前,我已经

繁城落叶 8198

Hbase集群的详细安装配置教程

简介:本篇博客是介绍怎么安装配置集群的,主要内容包括Hbase的相关网址,Hbase集群安装部署详细教程,Hbase集群高可用配置等。

weixin_45131680的博客 351

hbase集群的搭建(完全分布式)

说明zookeeper和hadoop在头两篇文章已经介绍了,本文基于之前安装的集群安装hbase,安装的节点如下(标红的为本次安装):机器 安装软件 进程 focuson1 zookeeper;hadoop namenode;hadoop DataNode;hbase master;hbase regionrerver JournalNode; DataNode; QuorumPeerM...

focuson_的博客 1005

使用内置zookeeper搭建Hbase集群

本实验任务主要完成基于ubuntu环境使用内置zookeeper搭建Hbase集群的工作。通过完成本实验任务,要求学生熟练掌握使用内置zookeeper搭建Hbase集群的方法,为后续实验的开展奠定Hbase平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase完全分布式部署Ubuntu(三台节点:mater,slave1,slave2)、Hadoop2.7.3、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库,该技术来源于Chang e

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 2681

hadoop2.6完全分布式安装HBase1.1

原创文章,转载请注明:转载自工学1号馆 对于全分布式的HBase安装,需要通过hbase-site.xml文档来配置本机的HBase特性,由于各个HBase之间通过zookeeper来进行通信,因此需要维护一组zookeeper系统,关于zookeeper的安装使用,参考《 hadoop2.6完全分布式安装zookeeper3.4.6 》 1、安装Hbase(1)下载hbase版本

记录成长的点点滴滴 1752

搭建基于Zookeeper服务的Hbase集群

本实验任务主要完成基于ubuntu环境搭建基于Zookeeper服务的Hbase集群的工作。通过完成本实验任务,要求学生熟练掌握搭建基于Zookeeper服务的Hbase集群的方法,为后续实验的开展奠定Hbase平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握搭建基于Zookeeper服务的Hbase集群Ubuntu(三台节点:mater,slave1,slave2)、Hadoop2.7.3、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库,

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 2257

最新Hadoop与HBase对应版本关系

最新Hadoop与HBase对应版本关系

weixin_44787324的博客 1795

RAG项目简历包装指南:从“流水线工人”到“问题解决者”的跃迁(附代码与思路)

本文代码已在Python 3.11 + CUDA 12.3环境测试,部分功能需LangChain 0.2+支持。

Conan_0728的博客 1887

嵌入式开源项目哪里找

对比产生的伤害是经验思考积累下的差距,知道自己不知道什么然后前进去追寻。

quanquanxiaobu的博客 3956

大数据开源框架环境搭建(五)——Hbase完全分布式集群的安装部署

把最后一行的注释去除(解决hadoop和hbase的jar包冲突问题,为了不让hbase扫描hadoop的jar包),并且添加(第三条很重要!HBASE_MANAGES_ZK=true,则使用HBase自带的Zookeeper进行管理,只能实现单机模式,常用于测试环境,不能用于生产环境。HBASE_CLASSPATH用于引导HBase找到Hadoop目录,一定要改成hadoop的目录,不然无法识别Hadoop集群名称。启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop。

木子一个Lee的博客 8673

8位可控加减法电路设计

一、设计要求   利用Logisim平台中现有运算部件构建一个8位可控加减法器,可支持八位加减法,利用已经封装全加器和逻辑门进行连接,要求实现相应的输出,判断是否溢出。 二、方案设计 实验原理: [A]补+[B]补 = [A+B]补(mod2^n+1)   公式1        [A-B]补 = [A]补+[-B]补(mod2^n+1)    公式2 FA为全加器,利用全加器实现加减法,难点在于实验减法,对输入的[Y]补各位取反加一即为[-Y]补,利用公式2,就可以将减法转化为加法再利用全加

qq_51700383的博客 1万+

Linux上搭建完全分布式zookeeper和hbase

在一般情况下我们学习安装zookeeper和hbase是没有服务器用来练习部署的,这里我们采用在VMware上来模拟在虚拟机上安装部署zookeeper和hbase。由于zookeeper和hbase是基于Hadoop进行开发部署的,所以我们在部署完全分布式zookeeper和hbase之前,我们需要部署相关的Hadoop环境,这里我们可以在csdn官网里面搜索“Linux上部署完全分布式Hadoop集群”来查看一些大神博客发的Linux上Hadoop的部署,当然如果觉得麻烦了也可以访问。

m0_73901987的博客 2229

短视频mssdk中get_token协议逆向与加密流程深度解析

本文深度解析了短视频mssdk中get_token协议的逆向分析与加密流程。通过抓包、Frida Hook、静态分析等手段,详细拆解了协议数据的Protobuf结构、设备信息采集来源,并重点剖析了其核心加密链路:zlib压缩、自定义TEA算法与AES-CBC加密,最终实现完整的协议模拟。

flower的专栏 560

一个大屏掌握港口全部信息的数字孪生技术

智慧港口就是通过整合港口全部数据,将数据通过iot设备与大屏连接,再通过自研3D渲染引擎模拟港口全貌,打造智慧港口大屏,整个系统分为四个模块,分别为港口概览、环境监测、设备运维和安防管理,各个模块独立运行,分别展示港口不同信息,各个模块的数据通过山海鲸内置数据源接口与港口管理系统进行对接。数据源支持实时刷新,模块内容支持自定义修改和定制化开发。接下来带大家详细了解一下各模块情况。

m0_69539341的博客 3064

【教程】Hadoop完全分布式环境搭建全过程

Hadoop完全分布式环境搭建全过程详细讲解 集群服务器:hadoop102、hadoop103和hadoop104 文末提供相关资源下载链接

m0_51226527的博客 7004

别让IO口保护二极管坑了你!实测讲解单片机电流倒灌的三种典型症状与防护

本文深入解析单片机电流倒灌的三大典型症状与防护方案,重点分析STM32等单片机在ADC采样异常、系统假死和通信速率异常中的表现。通过实测数据和电路设计建议,提供从基础二极管隔离到专业隔离器件的分级防护策略,帮助工程师有效预防和解决电流倒灌问题。

weixin_29280219的博客 348

HBase 集群搭建

单点关闭,去日志里查找问题,日志里会提供关于问题的更多详细信息和上下文。集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。托管的, 那么每个集群节点只能使用一个实例,并且仅适用于测试。托管的, 那么每个集群节点只能使用一个实例,并且仅适用于测试。,了解如何创建表,添加数据,扫描插入,最后禁用和删除表。的类路径查找功能,类路径的查找可能会引发问题或冲突。的类路径查找功能,类路径的查找可能会引发问题或冲突。版本的,所以这里选择的是。配置的更多信息,包括使用。的兼容性问题,越新越好,

撕得失败的标签的博客 2399

物理AI重构自动驾驶供应链 | 传统Tier1盈利模式崩塌,纯算法/软硬一体双路线落地对比,助力智驾软件商业化与全场景模型迭代

2026年是自动驾驶物理AI规模化落地元年,行业彻底告别传统感知-预测-规划-控制的模块化分层开发范式,迈入以世界模型、物理规则推演、端到端动作生成为核心的全新技术阶段。不同于传统AI仅完成图像识别、目标检测的浅层感知任务,物理AI能够深度理解道路交通中的动力学约束、路面摩擦、车辆博弈、行人运动规律等真实物理逻辑,实现对复杂路况的时序推演与自主决策,从底层重构自动驾驶技术架构。技术迭代同步引发产业链颠覆性变革,沿用数十年的传统自动驾驶Tier1商业模式全面崩塌。

getusushu的博客 290

040、未来展望:MLIR与编译技术的演进方向

MLIR不是又一个编译框架,它更像是一套“元框架”——提供构建专用编译工具的能力。未来几年,我们会看到更多垂直领域(自动驾驶、射频信号处理、生物计算)出现基于MLIR的专用编译器,它们可能不会挂“MLIR”的名字,但内核都是这套可扩展的IR基础设施。不要等MLIR“成熟”再用,现在就该把它当成一把瑞士军刀,先挑刀口最锋利的那个功能(比如图优化、循环变换)用起来。编译技术的演进不再是学术界的独角戏,而是越来越贴近实际生产中的异构、动态、领域专用需求。

m0_50546716的博客 176

Hadoop 高可用集群完全分布式安装教程一篇就够用(zookeeper、spark、hbase、mysql、hive)

Hadoop 高可用集群完全分布式安装教程(zookeeper、spark、hbase、mysql、hive)

m0_67821723的博客 4228

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

HBase完全分布式集群搭建

Hbase完全分布式集群搭建

qq_61203814的博客 561

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

hbase完全分布式环境搭建

             HBase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。...

chabale的专栏 1万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

HBase集群搭建实验(4)_完全分布式部署(依赖外部独立ZooKeeper集群,实现HMaster HA)

HBase完全分布式模式: 1)不同的HBase进程分别独立运行在多台硬件配置较高的服务器主机构成的集群中,适合HBase的运维和生产环境 2)依赖于HDFS存储数据,因此布署Hbase完全分布式之前必须有一个正常运行的HDFS集群 3)依赖于独立的外部ZooKeeper集群,不使用内置ZooKeeper 实验前提:HBase完全分布式部署方式依赖Hadoop和ZooKeeper,本实验紧接...

qq_35447918的博客 2501
上一篇: Hadoop源码篇--Reduce篇
下一篇: Hive篇--搭建Hive集群
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值