Hbase的安装以及相对于redis的对比介绍

最新推荐文章于 2025-03-06 14:45:21 发布

beyond丿qq:1559810637

最新推荐文章于 2025-03-06 14:45:21 发布

阅读量437

点赞数

分类专栏：大数据学习文章标签：数据库 redis 分布式大数据 hbase

本文链接：https://blog.youkuaiyun.com/qq_41594146/article/details/107221669

版权

学习同时被 2 个专栏收录

37 篇文章

订阅专栏

大数据

3 篇文章

订阅专栏

简介:

分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库(nosql)。另一个不同的是HBase基于列的而不是基于行的模式。

安装前需要事先搭建好zookeeper集群以及hadoop集群

hadoop:https://blog.youkuaiyun.com/qq_41594146/article/details/107194140

zookeeper:https://blog.youkuaiyun.com/qq_41594146/article/details/100153434

首先解压下载的安装包

tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module

修改HBase对应的配置文件。

1）hbase-env.sh修改内容：

export JAVA_HOME=/opt/module/jdk1.8.0_144

export HBASE_MANAGES_ZK=false

JDK1.8需要注释

#export HBASE_MASTER_OPTS。。。。

#export HBASE_REGIONSERVER_OPTS。。。

2）hbase-site.xml修改内容：

<configuration>
    <property>   
        <name>hbase.rootdir</name>     #本机的主机名和ip 可以自行修改
        <value>hdfs://hadoop102:9000/hbase</value> </property>
    <property> 
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>   
    <!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
    <property>
        <name>hbase.master.port</name>
        <value>16000</value>
    </property>
    <property> 
        <name>hbase.zookeeper.quorum</name>#zookeeper集群地址      
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    <property> 
        <name>hbase.zookeeper.property.dataDir</name>     
        <value>/opt/module/zookeeper-3.4.10/zkData</value>
    </property>
</configuration>

3）regionservers：

#hadoop的集群ip
hadoop102
hadoop103
hadoop104

4）软连接hadoop配置文件到hbase：

ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml  /opt/module/hbase/conf/core-site.xml

ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml  /opt/module/hbase/conf/hdfs-site.xml

HBase远程发送到其他集群

xsync hbase/

如果没有这个指令可以用scp代替就是把刚刚修改好配置文件的hbase文件夹复制到其余的集群机器上去

scp -P ssh端口 ./hbase root@ip:复制的路径

HBase服务的启动

启动方式1:

bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver

提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。请将服务器的时间同步

启动方式2

bin/start-hbase.sh

停止

bin/stop-hbase.sh

启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如：

http://服务器ip:16010

HBase Shell操作

1．进入HBase客户端命令行

bin/hbase shell

2．查看帮助命令

hbase(main):001:0> help

3．查看当前数据库中有哪些表

hbase(main):002:0> list

表的操作

1．创建表

hbase(main):002:0> create 'student','info'

2．插入数据到表

hbase(main):003:0> put 'student','1001','info:sex','male'

hbase(main):004:0> put 'student','1001','info:age','18'

hbase(main):005:0> put 'student','1002','info:name','Janna'

hbase(main):006:0> put 'student','1002','info:sex','female'

hbase(main):007:0> put 'student','1002','info:age','20'

3．扫描查看表数据

hbase(main):008:0> scan 'student'

hbase(main):009:0> scan 'student',{STARTROW => '1001', STOPROW => '1001'}

hbase(main):010:0> scan 'student',{STARTROW => '1001'}

4．查看表结构

hbase(main):011:0> describe 'student'

5．更新指定字段的数据

hbase(main):012:0> put 'student','1001','info:name','Nick'

hbase(main):013:0> put 'student','1001','info:age','100'

6．查看“指定行”或“指定列族:列”的数据

hbase(main):014:0> get 'student','1001'

hbase(main):015:0> get 'student','1001','info:name'

7．统计表数据行数

hbase(main):021:0> count 'student'

8．删除数据

删除某rowkey的全部数据：

hbase(main):016:0> deleteall 'student','1001'

删除某rowkey的某一列数据：

hbase(main):017:0> delete 'student','1002','info:sex'

9．清空表数据

hbase(main):018:0> truncate 'student'

提示：清空表的操作顺序为先disable，然后再truncate。

10．删除表

首先需要先让该表为disable状态：

hbase(main):019:0> disable 'student'

然后才能drop这个表：

hbase(main):020:0> drop 'student'

提示：如果直接drop表，会报错：ERROR: Table student is enabled. Disable it first.

11．变更表信息

将info列族中的数据存放3个版本：

hbase(main):022:0> alter 'student',{NAME=>'info',VERSIONS=>3}

hbase(main):022:0> get 'student','1001',{COLUMN=>'info:name',VERSIONS=>3}

HBase数据结构

RowKey

与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：

1.通过单个RowKey访问(get)

2.通过RowKey的range（正则）(like)

3.全表扫描(scan)

RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。设计RowKey时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

Column Family

列族：HBASE表中的每个列，都归属于某个列族。列族是表的schema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如 courses:history，courses:math都属于courses 这个列族。

Cell

由{rowkey, column Family:columu, version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

关键字：无类型、字节码

Time Stamp

HBASE 中通过rowkey和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由HBASE(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，HBASE提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。