hbase安装(0.98.x)-LMS日志结构型数据库

最新推荐文章于 2023-03-16 10:31:10 发布
原创 最新推荐文章于 2023-03-16 10:31:10 发布 · 569 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #zookeeper #hdfs #hadoop

本文详细介绍HBase在单机、伪分布式及完全分布式环境下的配置步骤，包括关键配置文件的修改、启动过程及常见问题排查。重点讲解如何在不同模式下调整参数以确保数据存储和访问的高效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言：
数据库，按照数据库的存储结构来区分的话，
key-value数据结构：其中比较出名的有redis这种；
二叉树类型的数据结构：比较出名的是mysql和oracle；
LMS日志结构性数据库：就是hbase。

以下，大致讲解下hbase怎么去配置单机，伪分布式，完全分布式。

首先是hbase版本对应的信息如下：
在这里插入图片描述

前提条件，安装jdk 和 hadoop，并配置了环境变量

1.单机模式
直接解压安装包
tar -zxvf xxxxx.tar.gz
修改conf/hbase-site.xml,配置hbase使用的数据文件的位置，默认在/tmp/hbase-[username],此目录是linux的临时目录，可能会被系统清空，所以最好修改一下

			<property>
				<name>hbase.rootdir</name>
				<value>file:///<path>/hbase</value>
			</property>

2.伪分布式模式
修改conf/hbase-env.sh修改JAVA_HOME
export JAVA_HOME=xxxx
修改hbase-site.xml,配置使用hdfs

			<property>
				<name>hbase.rootdir</name>
				<value>hdfs://hadoop00:9000/hbase</value>
			</property>
			<property>
				<name>dfs.replication</name>
				<value>1</value>
			</property>

启动hbase

3.完全分布式模式
修改conf/hbase-env.sh修改JAVA_HOME
export JAVA_HOME=xxxx
修改hbase-site.xml，配置开启完全分布式模式
配置hbase.cluster.distributed为true。
配置hbase.rootdir设置为HDFS访问地址

			<property>
					<name>hbase.rootdir</name>
					<value>hdfs://hadoop00:9000/hbase</value>
				</property>
				<property>
					<name>hbase.cluster.distributed</name>
					<value>true</value>
				</property>
				<property>
					<name>hbase.zookeeper.quorum</name>
					<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
				</property>

修改conf/hbase-env.sh禁用对zookeeper的自动管理
export HBASE_MANAGES_ZK false

配置region服务器,修改conf/regionservers文件，其中配置所有hbase主机，每个主机名独占一行，hbase启动或关闭时会按照该配置顺序启动或关闭主机中的hbase

HBASE配置文件说明
		hbase-env.sh配置HBase启动时需要的相关环境变量
		hbase-site.xml配置HBase基本配置信息
		HBASE启动时默认使用hbase-default.xml中的配置，
		如果需要可以修改hbase-site.xml文件，此文件中的配  置将会覆盖hbase-default.xml中的配置
		修改配置后要重启hbase才会起作用

	启动集群
		启动zookeeper
		启动hadoop
		启动hbase
		访问http://xxxxx:60010来访问web界面，通过web见面管理hbase
		也可以通过hbase shell脚本来访问bhase

	启动备用master实现高可用
		hbase-daemon.sh start master

	关闭集群
		stop-hbase.sh

**安装教程记录：**解压对应的文件，如图
在hbase目录打开。以下的bin、conf、lib文件自然不用多说解释。habase-webapps。类似tomcat的同名文件。
提供页面访问hbase

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

habse-site.xml。此为hbase的核心配置文件
打开它。

在这里插入图片描述

发现空白。意思就是你不配置。就会采用默认的配置
配置单机的hbase环境，记得要在对应的文件上创建对应的tmp文件

在这里插入图片描述

配置完成后，尝试去bin目录启动hbase
在这里插入图片描述
启动命令
在这里插入图片描述

启动后，查看jps，发现HMaster。那么，hbase真的启动起来了吗？
在这里插入图片描述

访问http://xxxxx:60010来访问web界面，通过web见面管理hbase
也可以通过hbase shell脚本来访问bhase

在这里插入图片描述

只要能看见这个界面，就可以了

如果想关闭呢？
在这里插入图片描述

但是呢，单机模式，只有一台机器，底层数据也没有存到habase里面，而是存到了我指定的
在这里插入图片描述

这里对应的设置文件夹中。当然，不设置也可以。不设置会存在linux的临时目录，重启就可能丢失。

这个模式的存在意义，就是基本能用，拿来测试一下。

伪分布式的设置。差别就是如图的设置

在这里插入图片描述

那么，在底层数据的存储方面，就是把数据存到了hdfs里面，体现在这里对应的设置上。把数据真正的存到了hadoop上。
不过，伪分布式依然是单机环境，依然还是用在测试、开发环境上。在这里插入图片描述

在hbase按照目录下的conf下
在这里插入图片描述

找到hbase-env,sh,打开并编辑
在这里插入图片描述

找到对应的export设置，去掉注释。注意jdk要1.6版本以上
在这里插入图片描述

修改hbase-site.xml，配置开启完全分布式模式
配置hbase.cluster.distributed为true。
配置hbase.rootdir设置为HDFS访问地址

			<property>
					<name>hbase.rootdir</name>
					<value>hdfs://hadoop00:9000/hbase</value>
				</property>
				<property>
					<name>hbase.cluster.distributed</name>
					<value>true</value>
				</property>
				<property>
					<name>hbase.zookeeper.quorum</name>
					<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
				</property>

修改conf/hbase-env.sh禁用对zookeeper的自动管理
export HBASE_MANAGES_ZK false

配置region服务器,修改conf/regionservers文件，其中配置所有hbase主机，每个主机名独占一行，hbase启动或关闭时会按照该配置顺序启动或关闭主机中的hbase
--------------------------------------------------
~HBASE配置文件说明
hbase-env.sh配置HBase启动时需要的相关环境变量
hbase-site.xml配置HBase基本配置信息
HBASE启动时默认使用hbase-default.xml中的配置，如果需要可以修改hbase-site.xml文件，此文件中的配置将会覆盖hbase-default.xml中的配置
修改配置后要重启hbase才会起作用
--------------------------------------------------
但是伪分布式下，hadoop的副本只有一份。所以，要把这里的副本数也改为1
在这里插入图片描述

因为是这样，如果这里副本数你不告知hbase的话，那么hbase他还是会按照三份副本的数量去hdfs寻找blocket，会出现问题。所以你要告知hbase，副本数只有唯一一个。

配置完成后，启动hbase
在这里插入图片描述

发现启动失败
就去对应的日志，就是如图我框起来的，但是，打开的是log文件。这才是日志
在这里插入图片描述
在这里插入图片描述

启动日志很多，最新的日志都是在文本末尾处的。翻到最后一页去查看。

在这里插入图片描述

在这里插入图片描述

他连接被拒绝。这时，考虑刚才哪里需要连接，就是hadoop的hdfs。所以要保证hadoop的伪分布式能够起来.

在这里插入图片描述

再重新启动hbase。启动后，如果jps如下图所示，那么就是成功了
在这里插入图片描述

进去主页
在这里插入图片描述

看到下面句子，就是表明数据存储在hdfs上
在这里插入图片描述

--------------完全分布式部署重点--------------

## 以下是完全分布式的部分说明

在这里插入图片描述

而且，注意是hbase对zk的管理
如图，为何要设置false。由于此处，默认为true。启动的时候，hadoop01-03启动会自动帮助上面的zk启动，。那么，在关闭hadoop01-03的时候，zk也会被关闭。如果改了false，那么hbase对zk的控制权就没有了。要自己先启动zk，再去启动hbase。
但是，一个机器上，zk不可能只为hbase提供服务。还会为其他技术提供服务，那万一就是其他服务没有了zk，其他服务就出问题了，那么就尴尬了。

**配置region服务器,修改conf/regionservers文件，**其中配置所有hbase主机，每个主机名独占一行，hbase启动或关闭时会按照该配置顺序启动或关闭主机中的hbase。配置如下图。加入其他hadoop集群的主机名字

在这里插入图片描述

配置的顺序要注意，顺序决定了启动的顺序。

启动之前，注意HMaster有没有启动，还有hadoop的启动

但是，我这里做了三台hbase节点：具体进程如下，请详细看
hadoop01
在这里插入图片描述

hadoop02
在这里插入图片描述

hadoop03
在这里插入图片描述

三台主机hbase高可用。其中关系如下：
三台虚拟机，配置hostname和免密登录（名字分别为hadoop01至hadoop03）
zk服务安装在三台虚拟机
hbase安装在三台虚拟机中
hadoop伪分布式安装在hadoop01
hbase的存储文件放在hdfs上。
zk做hbase的高可用。

这里放置一下总结：zk主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理、Leader 选举、队列管理等。

首先，保证虚拟机hadoop伪分布式可用。
第二，注意，注意，zookeeper一定要配置zk集群，注意注意。一定要注意，我就是忘了。判断zk集群成功的话，就是在bin下面执行 sh zkServer.sh status 里面是leader或者follower

时间不够，只能写到这里。

关于SICK公司的LMS511返回数据的数据结构说明
embedclub_LYF的专栏
12-31 7410
由于项目的要求，接触LMS511扫描仪有段时间了。现在就说说LMS511返回的数据。 STX [1] STX数据帧的开始标志，ASCII=2 [2] sSN=连续测量，sRN=单次测量 [3] 固定字段LMDscandata [4] 版本号，一般为0 [5] 设备号，一般为1 [6] 出厂序列号，每台激光不同，一般为固定值 [7][8] 设备状态， 0 0 正常，0 1 出
日志型的 数据 mysql_一种日志型数据库的实现
weixin_36042436的博客
01-19 817
在《LSM存储组织结构介绍》一文中，我们了解了LSM存储结构，同时提到针对不同的业务场景，可能需要选择不同的数据库实现。假如需要存储语音、视频或图片，你会选择怎样的实现方式？不需要对类数据进行修改，也不需要排序与范围查找，下面我们来看一种日志型数据库实现方式，因其用于存储语音、图片，我们称其为media数据库。存储格式media数据库以数字命名数据文件，每个数据文件大小上限为FileSize左右，...
mysql日志结构
ciqiyuan9775的博客
03-24 261
一.Mysql错误日志 /home/mysql3306/logs/mysql-error.log 如果数据库出现故障,error日志，是第一个需要查询的日志 删除错误日志 MySQL的日志文件(错误日志) <...
基于日志结构的嵌入式数据库设计和实现1
playWithData
10-24 506
暂时选用sqlite，hp ipaq900 
《数据库系统内 幕》日志结构存储
克克克克业业的学习记录
07-15 2601
LSM树
hbase-0.98.12.1-hadoop1-bin.tar.gz
12-04
本文将围绕"Hbase-0.98.12.1-hadoop1-bin.tar.gz"这一特定版本的HBase进行详细介绍，包括其特性、安装与配置、以及与Hadoop1的集成。 1. **HBase 0.98.12.1概述** HBase 0.98.12.1是HBase的早期稳定版本，提供了...
hbase-0.98.17-hadoop2-bin.tar.gz
12-24
"hbase-0.98.17-hadoop2-bin.tar.gz" 是HBase 0.98.17版本针对Hadoop 2.x生态系统的二进制发行包，供用户下载并部署使用。 HBase的设计理念源于Google的Bigtable，它将数据存储在行式表中，每行由一个唯一的行键...
hbase-0.98.12.1-src.tar.gz
12-04
通过对`hbase-0.98.12.1-src.tar.gz`源码的深入研究，我们可以深入理解HBase的工作机制，这对于开发、维护和优化HBase集群，以及解决实际应用中的问题至关重要。同时，这也是对分布式系统、大数据处理等领域知识的...
hbase-0.98.12.1-hadoop2-bin.tar.gz
08-24
1. 下载：首先，从Apache官网下载HBase 0.98.12.1的源码或二进制包，例如文件名为“hbase-0.98.12.1-hadoop2-bin.tar.gz”。 2. 解压：使用`tar -zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz`命令解压。 3. 配置：...
数据库的类型
m0_73784167的博客
11-13 241
讲解数据库的类型
hbase LSM树个人理解
qq_19917081的博客
09-26 1112
写这些只是记录自己平时看资料的成果，无关其他。 先记录下B树和B+树 B树（官方定义）： 1、根节点至少有两个子节点 2、每个节点有M-1个key，并且以升序排列 3、位于M-1和M key的子节点的值位于M-1 和M key对应的Value之间 4、其它节点至少有M/2个子节点。 2-3树比较好理解，是最简单的B树 将数据项放入2-3树节点中的规则是: (1)2-节点有两个
Hbase-0.98.x-haoop2 ImportTsv与completebulkload 工具如何使用
MR.Ting
03-27 1058
前段时间，自己在实验室琢磨hbase，实验室有5台机器，并且都已经部署好了hadoop2.2.0集群，然后在其中的3台上面装好了zookeeper3.4.6与hbase-0.98.9-hadoop2后，使用 bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.col
LSM数据结构
weixin_30458043的博客
07-10 1019
LSM树（Log-Structured Merge Tree）存储引擎 代表数据库：nessDB、leveldb、hbase等 将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘， 不过读取的时候稍微麻烦，需要合并磁盘中历史数据和内存中最近修改操作，所以写入性能大大提升，读取时可能需要先看是否命中内存，否则需要访问较多的磁盘文件。极端的说，基于LSM树实现的HBas...
数据库
King15229085063的博客
01-17 693
数据库 什么是数据库？ 简单的说，数据库（Dtabase）就是一个存放数据的仓库，这个仓库是按照一定的数据结果（数据结构是指数据的组织形式或数据之间的联系）来组织、存储的、我们可以通过数据库提供的多种方法来管理数据库里的数据更简单的形象理解，数据库和我们生活中存放杂物的仓库性质一样，区别只是存放的东西不同。 数据库基本术语 数据库：database 数据表：table 列 行 主键 表头 数...
事务日志体系结构
xiaoye1202的博客
03-08 390
 事务日志逻辑体系结构    SQLservers事务日志按逻辑运行，就好像事务日志是一串日志记录一样。每条日志记录由一个日志序列号（LSN）标识。每条新日志记录均写入日志的逻辑结尾处，并使用一个比前面记录的LSN更高的LSN。    日志记录按创建时的串行序列存储。每条日志记录都包含其所属事务的ID。对于每个事务，与事务相关联的所有日志记录通过使用可提高事务回滚速度的向后指针挨个链接在一个链中。...
关于各大数据库日志存储原理
u011868279的博客
03-16 1172
关于各大数据库日志存储原理
【熬夜肝了】HBase设计的实践经验（全）
Java_cola的博客
07-23 807
今天分享的内容是关于HBASE相关设计的实战经验，记录学到的东西。主要是线上（集群规模10~20台，每秒读写数据量在几十万条记录的量级）出现了bug, hbase暂时不提供服务了，即整理了该篇文章。 - 一、[HBASE简介] - 二、[详解HBASE的读和写、读放大、合并、故障恢复等] - 三、[HBASE在告警信息的使用] - 四、 [HBASE的优化经验] HBASE是什么？ HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一
Hbase0.98.8安装配置
gakki_smile的博客
08-16 496
1上传解压到特定的目录 22.1、配置hbase-env.sh文件 • 进入到hbase-1.1.2/conf目录下，vim ./hbase-env.sh打开文件 • export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64 #java安装目录 • export HBASE_LOG_DIR=/home/had
hbase-0.98.23-src.tar.gz
最新发布
03-21
- 找到对应版本路径：`hbase-0.98.23/` - 下载源码文件：`hbase-0.98.23-src.tar.gz` 命令如下所示： ```bash wget https://archive.apache.org/dist/hbase/0.98.23/hbase-0.98.23-src.tar.gz ``` 此方式适用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值