hbase1.3.0集群版详细安装及简单测试

Hbase-0.98.0全分布集群安装于配置(详细版参考自官方文档) Hbase-0.98.0全分布集群安装于配置 阅读详情

    

    不管在什么地方,什么时候,学习是快速提升自己的能力的一种体现!!!!!!!!!!!


简单介绍下hbase: (度娘的)

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。


OK,不多说直接开始吧!


将hbase的安装包导入虚拟机,我一般喜欢将大数据有关的放到统一目录(自建hadoop目录)下




解压该安装包  tar -zxvf hbase-1.3.0-bin.tar.gz  

我一般解压完之后会删除安装包   rm -f hbase-1.3.0-bin.tar.gz




编辑 /etc/profile  文件末尾添加HBASE_HOME 环境

export HBASE_HOME=/usr/local/hadoop/hbase-1.3.0
export PATH=$HBASE_HOME/bin:$PATH   
                     



编辑conf目录下的hbase-env.sh文件   vim hbase-env.sh  

找到   # export JAVA_HOME=/usr/java/jdk1.6.0/  去掉注释改为

export JAVA_HOME=/usr/local/java/jdk1.8.0_11    (依个人存放JDK路径填写)




hbase本身自带有zookeeper,如果你想用自己安装的zookeeper,编辑conf目录下的hbase-env.sh文件(还是刚才的文件)

找到   # export HBASE_MANAGES_ZK=true 同样去掉注解  (这句话的位置在倒数第9行),

改为  :export HBASE_MANAGES_ZK=false   (false代表不使用hbase自带的zookeeper,默认是使用的)




修改 hbase-site.xml 文件   vim hbase-site.xml

添加以下内容:

 <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>       #端口号需要跟hadoop中的端口号一致 同时需要在hadoop安装目录下创建hbase目录             
  </property>  
<property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
</property> 

 <property>
     <name>hbase.zookeeper.property.clientPort</name>
     <value>2181</value>
 </property>

 <property>  
     <name>hbase.zookeeper.quorum</name>      
     <value>master,slave1,slave2</value>      
   </property>

 <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/local/hadoop/zookeeper/data</value>
  </property>

注:

(1)hbase.rootdir,HDFS的入口地址,地址和端口要和你的hadoop配置一样(core-site.xml中的 <name>fs.default.name</name>),所有节点公用地址
(2)hbase.cluster.distributed : ture表示分布式
(3)hbase.zookeeper.property.clientPort : zookeeper端口
(4)hbase.zookeeper.quorum   : zookeeper的集群,多台机器以逗号分隔
(5)hbase.zookeeper.property.dataDir , zookeeper 保持信息的文件,默认为/tmp 重启会丢失


详细的配置解析可以参考  转载文章  http://www.cnblogs.com/nexiyi/p/hbase_config_94.html


修改  conf 下的 regionservers文件   命令 :vim regionservers

把文本中的localhost删除,把集群节点添加进去




配置完以后,将hbase拷贝到slave1和slave2

scp -r hbase-1.3.0 slave1:/usr/local/hadoop/
scp -r hbase-1.3.0 slave2:/usr/local/hadoop/


slave1:



slave2:




拷贝过去之后不用修改hbase内容(注:前提是你每台机的JDK路径、其他的配置路径是一样的),只修改slave1和slave2的环境变量


编辑 /etc/profile  文件末尾添加HBASE_HOME 环境

export HBASE_HOME=/usr/local/hadoop/hbase-1.3.0
export PATH=$HBASE_HOME/bin:$PATH 


slave1:



slave2:



启动顺序:先启动Hadoop->hbase,如果使用自己安装的zookeeper启动顺序是:Hadoop->zookeeper->hbase

停止顺序:hbase->zookeeper->hadoop

hbase只需要启动master机就可以带动其他的机了 ,进入hbase-1.3.0/bin目录下,命令   ./start-hbase.sh   启动之后 jps查看启动进程


master机多出:

HMaster
HRegionServer




slave1和slave2机都多出:

HRegionServer



这样hbase就搭建成功了,也可以通过web页面查看,hbase默认端口号为 16010

http://192.168.31.128:16010



以上就是hbase集群搭建的全部内容了!


下面做一个简单的hbase建表和添加数据测试


进入hbase的bin目录洗 输入 ./hbase shell 进入建表界面

(有可能第一次输入命令时可能需要等一下才会出现下图信息)



这样就进入了hbase了:

现在创建一个简单的表   建表语句如下:

create '表名','列族'

create 'testhbase','hbasefamily'



往表里添加数据

put '表名','行数','列族名:列名','列值'

put 'testhbase','001','hbasefamily:test1','hello world1'

put 'testhbase','001','hbasefamily:test2','hello world2'

put 'testhbase','001','hbasefamily:test3','hello world3'




注:向表中添加数据,在想HBase的表中添加数据的时候,只能一列一列的添加,不能同时添加多列


添加之后  scan '表名'  来查看表中的详细信息

scan 'testhbase'



OK,本文章就此结束


如果此文章有什么不对的地方请路过的大神指出,以免误人子弟


尊重原创,如要转载请注明出处!!!
Hadoop3.1.3+Zookeeper3.5.6+hbase2.2.2+hive3.1.2安装以及测试 Hadoop3.1.3+Zookeeper3.5.6+hbase2.2.2+hive3.1.2安装以及测试 1. 系统环境 1.1 软件版本,如下是所安装软件的信息 软件 版本 下载地址 系统 x86_64 GNU/Linux hadoop 3.1.3 官网 zookeeper 3.5.6 官网 hbase 2.2.2 官网 hive 3.2.1 官网 更多版... 阅读详情

相关推荐

HBase的安装与简单操作

将热门商品的信息存储在 HBase 中,可以有效减少对传统数据库的访问,提高系统的响应速度和吞吐量。安装 HBase 就是要在合适的环境中,对相关的软件进行下载、配置和启动,使 HBase 能够与 HDFS 和 ZooKeeper 协同工作,从而提供稳定的数据库服务。分布式集群可以提供更高的可用性、扩展性和性能,适用于大规模数据存储和处理的场景,如电商网站的用户行为数据存储、社交媒体平台的消息记录存储等。例如,电商网站的商品信息缓存,将热门商品的信息存储在 HBase 中,减少对数据库的访问压力。

ylfhpy的博客 1562

分布式数据库系统——HBase

第一部分 初识HBase 第 1 节 HBase 简介 1.1 HBase是什么 HBase 基于 Google的BigTable论⽂而来,是⼀个分布式海量列式⾮关系型数据库系统,可以提供超大规模数据集的实时随机读写。 1.2 HBase的特点 海量存储: 底层基于HDFS存储海量数据 列式存储:HBase表的数据是基于列族进行存储的,一个列族包含若⼲列 极易扩展:底层依赖HDFS,当磁盘空间不足的时候,只需要动态增加DataNode服务节点就可以 高并发:⽀持高并发的读写请求 稀疏:稀疏

☆Silence♂ 6899

Hadoop2.8+HBase2.0+ZooKeeper3.4分布式集群环境搭建

本次 Hadoop 集群安装实验,采用在 VMware 虚拟机下安装多个 CentOS 系统的方式进行;3 个 CentOS 系统中,其中,1 个为 Master 机,作为 NameNode;另外 3个为 Slave 机,作为 DataNode,均采用独立静态 IP 地址配置。

Java_fenxiang的博客 1095

Hbase1.3:Hbase基础架构、Hbase基础架构角色:Master、Region Server、Zookeeper、HDFS

Hbase对于数据的读写操作是直接访问Zookeeper的,在2.3版本推出Master Registry模式(主注册表模式,默认是直接访问Zookeeper的),客户端安可以直接访问master。使用此功能,会加大对master的压力,减轻对Zookeeper的压力。把master需要执行的任务记录到预写日志WAL中,如果master宕机,让bacpupMaster读取日志继续干。HDFS为HBase提供最终的底层数据存储服务,同时为HBase提供高容错的支持。meta表后面再研究。

郝开的博客 1165

hbase-1.3.1-src.tar.gz

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。是大数据的重要组成部分。

Hbase1.3.1源码

Hbase1.3.1源码

Hbase1.3.1完全分布式集群搭建(详细+,看完就会,)

Hbase完全分布式集群搭建 【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】 参考文章: 修改 hadoop 集群及hbase集群的pid文件存放位置 hbase启动后HMaster自动关闭:连接不到8020端口 HDFS部分:8020端口,9000端口和50070端口号,50090,9083,2181,6379的区别 HBase默认配置文件hbase-default.xml注释解析...

fy_1852003327的博客 1083

常见的AXI总线仲裁器概述-AXI协议理解(一)

SoC 设计广泛采用共享总线式的片上通信,其中的仲裁器是共享总线的关键技术之一。AMBA AXI 总线协议以高性能、高频率的系统设计为目标,适合高带宽、低延迟的系统设计,可以达到高频率的操作而不需要复杂的总线桥,满足众多部件的接口要求,具备高度灵活的互联结构,并且向后兼容 AHB 和 APB 接口。

Paul 安的博客 1万+

hbase的安装

由于HBase默认的容忍间隔是30s,超过这个阈值,就会报“Master rejected startup because clock is out of sync”异常,所以三台机器的时间 间隔不能超过30。通过"linux01:16010"的方式来访问HBase管理页面,进得去代表启动成功。手动的设置时间 date -s "2023-05-07 00:00:00"regionservers 配置 启动集群中的Regionserver机器。在 conf目录下找到hbase-site.xml。

barry_jiang的博客 510

开源:AI+无人机巡检系统项目调研

本文系统梳理了主流开源无人机巡检技术栈,涵盖飞控系统(PX4/ArduPilot)、地面站软件(QGroundControl)、AI视觉识别(VisDrone/MPID/CPLID数据集)、三维重建(OpenDroneMap/COLMAP)和仿真模拟(AirSim/Gazebo)五大领域。通过对比各项目的技术特点、开发语言、开源协议及商用友好度,为无人机巡检产品开发提供完整的技术选型参考。重点推荐PX4飞控、DroneKit开发API等商用友好项目,同时分析了GPL/AGPL协议项目的开源要求。

lovehu6686的博客 2452

linux 4.19在龙芯平台上编译出错解决方法

OS: Loongnix server 1.7 工具链为:系统自带的gcc-4.8.5 和 gcc-7.3 平台:3A3000/3A4000 源码:kernel: 4.19 编译步骤 ··· make loongson3_defconfig make -j4 ··· 出错信息: HOSTCC arch/mips/boot/compressed/calc_vmlinuz_load_addr arch/mips/boot/compressed/head.S: Assembler messages: arch/m

sense的专栏 1125

【Hadoop和Hbase集群配置】3台虚拟机、jdk+hadoop+hbase下载和安装、环境配置和集群测试

VMware+CentOS7,3台虚拟机配置hadoop集群,jdk+hadoop+hbase的下载和安装、环境配置,Hadoop和HBase集群测试

2201_75539359的博客 3963

最新扣子(coze)案例:在coze上用DeepSeek+私有数据库、知识库,创建你的专属智能体

Gartner预测,到2026年,70%的企业将通过Al知识库实现「组织记忆外化」。数字化时代,数据已成为企业发展的核心资产。我们通过人工智能将知识库从“静态存储"升级为“智能服务”。让"沉睡宝藏"焕发新生,助力企业突破数据困局。

weixin_72689845的博客 2166

基于Hadoop HA集群部署HBase HA集群(详细版)

本文介绍Hadoop高可用(HA)集群的部署方法,重点阐述ZooKeeper在Hadoop及HBase高可用架构中的核心作用。文章首先说明ZooKeeper通过临时节点机制实现主从选举,为Hadoop NameNode和HBase Master提供故障转移支持。随后详细讲解ZooKeeper集群的配置步骤,包括myid文件设置和环境变量配置。在Hadoop HA配置部分,文章展示了core-site.xml和hdfs-site.xml的关键参数,特别是ZooKeeper服务地址和nameservice的配置

pysense的博客 5385

【超详细】安装了anaconda后,Ubuntu18+COLMAP配置疯狂踩坑踩至魔怔的记录

本博客收集了博主在Ubuntu18系统中编译COLMAP所遇到的困难,提供了解决方法,也收集了目前网上大多数的坑,除此之外,也为Ubuntu18系统下COLMAP的安装提供了一种新的路径。

Stay_Foo_lish的博客 3511

别再傻傻分不清了!Anaconda和Miniconda到底选哪个?附保姆级安装与镜像源配置(Windows/Mac)

本文详细解析了Anaconda和Miniconda的核心差异,包括体积、预装内容、系统资源占用等关键维度,并提供了针对不同需求的决策框架。附有Windows和Mac双平台的详细安装与配置指南,帮助用户根据实际需求选择最适合的conda工具,提升开发效率。

weixin_30315723的博客 426

Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0)

Hbase安装文档 1.   安装软件 OS:centos6.5 Hadoop:hadoop2.6.0 Hbase:hbase.1.0.0 JDK: jdk1.7.0_51 集群机器: 192.168.153.130(hadoop130 namenode) 192.168.153.131 (hadoop131datanode) 192.168.153.132 (hadoop132

博学而笃志,切问而近思 3万+

SAP Group Reporting入门指南(11)--配置

这里选择的是FS项目目标属性,FS项目有四个目标属性,比如上图配置的是抵消目标属性,所以就去找触发FS项目的抵消目标属性配置的是哪个FS项目,就以这个FS项目作为贷方。这里选择的是FS项目目标属性,FS项目有四个目标属性,比如上图配置的是抵消目标属性,所以就去找源FS项目的抵消目标属性配置的是哪个FS项目,就以这个FS项目作为借方。例如,添加一个包含用于存储百分比的 FS 项的选项。这里选择的是FS项目的角色属性值,如果这里定义了,那么就从FS项目中找到FS项目角色属性值与之匹配的FS项目作为贷方。

bflyfish的博客 568

Hbase3.0.0及Hadoop3.3.1集群搭建(一)

1.概述 HBase是Hadoop数据库,一种分布式、可扩展的大数据存储。当您需要对大数据进行随机、实时的读/写访问时,推荐使用HBase。该项目的目标是在商用硬件集群上托管非常大的表——数十亿行 X 数百万列。HBase 是一个开源、分布式、版本化、非关系型数据库,基于 Google 的Bigtable 等的结构化数据的分布式存储系统开发。正如 Bigtable 利用 Google 文件系统提供的分布式数据存储一样, HBase 在 Hadoop 和 HDFS 之上提供了类似 Bigtable 的功能。

hello.reader 5798

3、结合物理学与深度学习的连续时间动力学模型

本文探讨了如何结合物理学原理与深度学习技术,构建连续时间动力学模型,以提升机器人系统对复杂动态环境的建模与控制能力。重点介绍了深度拉格朗日网络(DeLaN)和深度哈密顿神经网络(HNN)的理论基础及其在模拟与物理系统中的实验表现,并展示了其在逆向模型、前向模型以及能量控制任务上的优越性能。文章还分析了当前方法的局限性,并提出了未来研究方向,如接触处理、广义坐标学习及优化损失函数等。

linux的博客 910

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

HBase集群部署

下面以三台服务器(hadoop1,hadoop2,hadoop3)为例,讲解HBase的部署.HBase集群的具体规划如下:hadoop1和hadoop2是主节点,hadoop2和hadoop3是从节点.

qq_49635321的博客 2575

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

大数据NoSQL数据库HBase集群部署

HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。和Redis一样,HBase是一款KeyValue型存储的数据库。不过和Redis设计方向不同Redis设计为少量数据,超快检索HBase设计为海量数据,快速检索HBase在大数据领域应用十分广泛,现在我们来在node1、node2、node3上部署HBase集群。

qq_61532016的博客 2536

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

apache-phoenix-5.0.0-HBase-2.0安装与简单使用

HBase版本:hbase-2.0.5 Phoenix版本:phoenix-5.0.0-HBase-2.0 集群结构 类型 zookeeper Hbase master NameNode 否 HMaster slave1 DataNode 是 HRegionServer slave2 DataNode 是 HRegionServer slave3 DataNode 是...

Sword1996的博客 4598

【HBase】安装HBase集群(3台主机)

安装HBase集群(3台主机)

zhouwhui 的博客 4267

Linux安装Hbase(CentOS7+Hbase1.2.5+Hadoop2.8.0)

Linux安装Hbase(CentOS7+Hbase1.2.5)版本号:CentOS7 Hadoop2.8.0 Hbase1.2.5 Zookeeper3.4.10 JDK1.8

pucao_cug的专栏 2万+

HBase环境搭建(超详细讲解)ZooKeeper,HBase的安装

zookeeper-3.4.10 hbase-1.4.0

weixin_48985617的博客 4799
上一篇: CentOS7在空闲一段时间或重启后网络总需要手动开启解决方案
下一篇: HBase参数配置及说明
hui_2016
博客等级 码龄10年 130粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值