hbase

最新推荐文章于 2022-07-14 11:06:37 发布
原创 最新推荐文章于 2022-07-14 11:06:37 发布 · 327 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了NoSQL数据库的概念、特点以及与关系型数据库的对比，并深入探讨了HBase的物理架构、逻辑架构和其作为列存储数据库的特性。通过MapReduce和Sharding等技术，HBase提供了高扩展性和实时查询能力，适用于大数据场景。

安装hbase

把安装包拖进linux里面的opt目录下

########## 安装hbase ##########
// 解压安装包
tar -zxf hbase-1.2.0-cdh5.14.2.tar.gz 
// 移动解压完成后的安装包
mv hbase-1.2.0-cdh5.14.2 soft/hbase120
cd /opt/soft/hbase120/conf
vi hbase-env.sh
    1.export JAVA_HOME=/usr/local/softwave/jdk1.8.0_111
    2.export HBASE_MANAGES_ZK=false //使用外部zookeeper
vi hbase-site.xml
vi /etc/profile
source /etc/profile
cd ../bin
hbase shell
!quit
start-hbase.sh
jps
hbase shell

hbase-site.xml

<property>
	 <name>>hbase.rootdir</name>
	 <value>hdfs://192.168.220.129:9000/hbase</value>
</property>
<!—单机模式不需要配置，分布式配置此项为true-->
<property>
	 <name>hbase.cluster.distributed</name>
	 <value>true</value>
</property>
<!—单机模式不需要配置 分布是配置此项为zookeeper指定的物理路径名-- >
<property>
	 <name>hbase.zookeeper.property.dataDir</name>
	 <value>/home/cm/hbase</value>
</property>

配置文件

i.Export HBASE_HOME=/usr/local/softwave/hbase-1.2.1
ii.Export PATH=….:$HBASE_HOME/bin

NoSql

NoSQL:not only SQL,菲关系型数据库

  • NoSQL是一个通用术语
    指不遵循传统RDBMS模型的数据库
    数据是菲关系的，且不使用SQL作为主要查询语句
    解决数据库的可伸缩性和可用性问题
    不针对原子性或一致性问题

为什么使用NoSQL

互联网的发展，传统关系型数据库存在瓶颈
高并发读写、高存储量、高可用性、高扩展性、低成本

NoSQL和关系型数据库对比

对比NoSQL关系型数据库
常用数据库Hbase、MongoDB、RedisOracle、DB2、MySQL
存储格式文档、键值对、图结构表格式、行和列
存储规范鼓励冗余规范性、避免重复
存储扩展横向扩展、分布式纵向扩展（横向扩展有限）
查询方式结构化查询语言SQL非结构化查询
事务不支持事务一致性支持事务
性能读写性能高读写性能差
成本简单易部署，开源，成本低成本高

数据库三大范式：
第一范式（确保每列保持原子性）
是最基本的范式，如果数据库表中的所有字段值都是不可分割的原子值，就说明该数据库表满足了第一范式。
第二范式（确保表中的每列都和主键相关）
在第一范式的基础之上更进一层，第二范式需要确保数据库表中的每一列都和主键相关，而不能只与主键的某一部分相关（主要针对联合主键而言），也就是说在一个数据库表中，一个表中只能保存一种数据，不可以把多种数据保存在同一张数据表中。
第三范式（确保每列都和主键直接相关，而不是间接相关）
需要确保数据表中的每一列数据都和主键之间相关，而不是间接相关。

NoSQL的特点

最终一致性
应用程序增加了维护一致性和处理事务等职责
冗余数据存储

  • NoSQL != 大数据
    NoSQL产品是为了帮助解决大数据存储问题
    大数据不仅仅包含数据存储问题
    • hadoop
      kafka
      spark，etc

NoSQL和BI、大数据关系

  • BI（Business Intelligence）：商务智能
    它是一套完整的解决方案
    BI应用涉及模型，模型依赖于模式
    BI主要支持标准SQL，对NoSQL支持弱于关系型数据库
  • NoSQL和大数据相关性较高
    通常大数据场景采用列存储数据库
    如：HBase和Hadoop

NoSQL基本概念

三大基石：cap、base、最终一致性
Indexing（索引）、Query（查询）
MapReduce
Sharding

cap理论

一个分布式系统不能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Tolerance of network Partition）。鱼和熊掌不可兼得。

  • Consistency（一致性）：任何一个读操作总是能读取到之前完成的写操作结果，也就是在分布式环境中，多点的数据是一致的。
  • Availability（可用性）：每一个操作总是能在确定的时间内返回，也不是系统随时都是可用的。
  • Partition Tolerance（分区容错性）：在出现网络分区（如断网）的情况下，分离的系统也能正常运行。
    在这里插入图片描述

NoSQL不保证“ACID”
事务管理的四个特性：

  • 原子性（Atomicity）
    原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。
  • 一致性（Consistency）
    事务前后数据的完整性必须保持一致。
  • 隔离性（Isolation）
    事务的隔离性是多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数据所干扰，多个并发事务之间要相互隔离。
  • 持久性（Durability）
    持久性是指一个事务一旦被提交，它对数据库中数据的改变就是永久性的，接下来即使数据库发生故障也不应该对其有任何影响

提供“最终一致性”

BASE

  • Basically Availble（基本可用）
    保证核心可用
  • Soft-state（软状态）
    状态可以有一段时间不同步
  • Eventual Consistency（最终一致性）
    系统经过一定时间后，数据最终能够达到一致的状态

核心思想是即使无法做到强一致性，但应用可以选择适合的方式达到最终一致性

最终一致性

最终结果保持一致性，而不是时时一致
如账户余额，库存量等数据需强一致性
如catalog等信息不需要强一致性

  • Causal consistency（因果一致性）
    Read-your-writes consistency
    Session consistency

索引和查询

  • Indexing（索引）
    大多数NoSQL是按key进行索引
    部分NoSQL允许二级索引
    HBase使用HDFS，append-only
    • 批处理写入Logged
      重新创建排序文件
  • Query（查询）
    没有专门的查询语言，通常使用脚本语言查询
    有些开始支持SQL查询
    有些开始使用MapReduce代码查询

MapReduce、Sharding

  • MapReduce
    不是Hadoop的MapReduce，概念相关
    可进行数据的处理查询
  • Sharding（分片）
    一种分区模式
    可以复制分片
    • 有利于灾难恢复

NoSQL分类

在这里插入图片描述

键值存储数据库

在这里插入图片描述

列存储数据库

在这里插入图片描述

文档型数据库

在这里插入图片描述

图数据库

在这里插入图片描述

Hbase概述

  • Hbase是一个领先的NoSQL数据库
    是一个面向存储的数据库
    是一个分布式hash map
    基于Google Big Table论文
    使用HDFS作为存储并利用其可靠性
  • HBase特点
    数据访问速度快，响应时间约2-20毫秒
    支持随机读写，每个节点20k~100k+ops/s
    可扩展性，可扩展到20,000+节点

Hbase物理架构

HBase实时查询的原理

HBase 的实时查询，可以认为是从内存中查询，一般响应时间在 1 秒内。
HBase 的机制是数据先写入到内存中，当数据量达到一定的量（如 128M），再写入磁盘中，
在内存中，是不进行数据的更新或合并操作的，只增加数据，
这使得用户的写操作只要进入内存中就可以立即返回，保证了 HBase I/O 的高性能。

采用Master/Slave架构

在这里插入图片描述

HMaster

HMaster的作用
是HBase集群的主节点，可以配置多个，用来实现HA
管理和分配Region
负责RegionServer的负载均衡
发现失效的RegionServer并重新分配其上的Region

RegionServer

RegionServer负责管理维护Region
在这里插入图片描述

Region和Table

在这里插入图片描述

HBase逻辑架构-Row

  • Rowkey（行键）是唯一的并己排序
  • Schema可以定义何时插入记录
  • 每个Row都可以定义自己的列，即使其他Row不适用
    相关列定义为列簇
  • 使用唯一时间戳维护多个Row版本
    在不同版本中值类型可以不同
  • HBase数据全部以字节存储
    在这里插入图片描述

HBase数据管理

  • 数据管理目录
    系统目录表hbase:meta
    存储元数据等
    HDFS目录中的文件
    Servers上的region实例
  • HBase数据在HDFS上
    可以通过HDFS进行修复File
    修复路径：RegionServer->Table->Region->RowKey->列簇

HBase架构特点

  • 强一致性
  • 自动扩展
    当Region变大会自动分割
    使用HDFS扩展数据并管理空间
  • 写恢复
    使用WAL（Write Ahead Log）
  • 与Hadoop集成

HBase Shell

HBase Shell是一种操作HBase的交互模式
支持完整的HBase命令集
在这里插入图片描述

🌰

https://blog.youkuaiyun.com/vbirdbest/article/details/88236575
在这里插入图片描述

help 'list'    // 查看命令list的使用描述
version     // 查看版本号
status     // 返回hbase集群的状态信息
whoami     // 我是谁
table_help   // 查看如何操作表
list    // 列出hbase中存在的所有表

create    // 创建表
create 'mydemo','base'   // 创建表 mydemo表名   base列名

alter    // 修改列簇
添加一个列簇：alter '表名','列簇名'
alter 'mydemo','external'   // 添加列external
alter 'mydemo',{NAME=>'external',METHOD=>'delete'}  // 删除列external
describe 'mydemo'   // 查看表结构mydemo
exists 'mydemo'  // 检查表是否存在
disable 'mydemo'   // 禁用表
drop 'mydemo'   // 先禁用表再删除
enable 'mydemo'   // 开启表
describe_namespace 'default'   // 查看表空间
create_namespace 'mydemo'   // 创建表空间
create 'mydemo:userinfos','base'    // 创建列簇base
create 'mydemo:scores','info'    // 创建列簇info
list_namespace_tables 'mydemo'    // 查看以mydemo为命名空间的表
put 'mydemo:userinfos','1','base:username','zhangsan'   //表空间mydemo，表userinfos，'1'表示行键，列簇base，列username，列值zhangsan
alter 'mydemo:userinfos','externals'   // 添加列簇externals
put 'mydemo:userinfos','1','externals:likes','player,eat'  // 添加列likes
put 'mydemo:userinfos','2','base:username','lisi'   // 添加列值lisi
put 'mydemo:userinfos','2','base:age','30'   // 添加列age，列值30
scan 'mydemo:userinfos'   // 全表扫描
scan 'mydemo:userinfos',{COLUMN=>'base'}  // 扫描列簇base
get 'mydemo:userinfos','1'    // 取值列簇
get 'mydemo:userinfos','1','externals'  // 取值externals列簇

create 'mydemo:mytest',{NAME=>'base',VERSIONS=>3}
put 'mydemo:mytest','1','base:xxx','1'
put 'mydemo:mytest','1','base:xxx','11'
put 'mydemo:mytest','1','base:xxx','111'
get 'mydemo:mytest','1',{COLUMN=>'base',VERSIONS=>3}
put 'mydemo:mytest','1','base:xxx','1111'
取base列簇的三个值
get 'mydemo:mytest','1',{COLUMN=>'base',VERSIONS=>3}
取base列簇时间戳为1592806020017的值
get 'mydemo:mytest','1',{COLUMN=>'base',TIMESTAMP=>1592806020017}
put 'mydemo:userinfos','3','base:username','zhangsanfeng'
scan 'mydemo:userinfos'

https://www.cnblogs.com/mayidudu/p/6056772.html

show_filters   显示过滤器方式
create 'test1','lf','sf'
put 'test1', 'user1|ts1', 'sf:c1', 'sku1'
put 'test1', 'user1|ts2', 'sf:c1', 'sku188'
put 'test1', 'user1|ts3', 'sf:s1', 'sku123'
put 'test1', 'user2|ts4', 'sf:c1', 'sku2'
put 'test1', 'user2|ts5', 'sf:c2', 'sku288'
put 'test1', 'user2|ts6', 'sf:s1', 'sku222'
一个用户（userX），在什么时间（tsX），作为rowkey
scan 'test1'
找出值等于sku188的
scan 'test1',FILTER=>"ValueFilter(=,'binary:sku188')"
找出值包含88的
scan 'test1',FILTER=>"ValueFilter(=,'substring:88')"
scan 'mydemo:userinfos',FILTER=>"ColumnPrefixFilter('username') AND ValueFilter(=,'substring:zhang')"   找出修饰符为c2且值包含张的
scan 'test1',{STARTROW=>'user1|ts2'}   // 从user1|ts2开始查
scan 'test1',{STARTROW=>'user1|ts2',FILTER=>"PrefixFilter('user1')"}   // 从user1|ts2开始查user1为前缀的
count 'mydemo:userinfos'
scan 'mydemo:userinfos'
incr 'mydemo:userinfos','1','base:stuno',1 加入一个自增列，单元格的自增
scan 'mydemo:userinfos',{COLUMNS=>['base:username','base:age']}   查username、age列
scan 'mydemo:userinfos',{COLUMN=>'base',TIMESTAMP=>1592813668123}
scan 'mydemo:userinfos',{LIMIT=>2}   取前两行
scan 'mydemo:userinfos',{STARTROW=>'2',LIMIT=>2}   从第二行开始，取2，3两行
GodXuzzZ
关注
如何封装一个线程安全、可复用的 HBase 查询模板
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
05-02 12万+
本文探讨了如何封装一个线程安全、可复用的 HBase 查询模板。通过引入基于 AtomicReference 的连接懒加载机制和函数式接口封装查询执行逻辑，本文提供了一种高效的 HBase 查询解决方案。文章详细阐述了 HBase 连接池的实现、查询模板的设计与优化，以及如何在实际业务中应用这些技术。通过完整的案例演示，本文帮助开发者解决 HBase 查询中的常见问题，提高系统性能和可维护性。
【硬刚Hbase】Hbase基础（二十）：亿级数据从 MySQL 到 Hbase 的三种同步方案与实践（四）对比
微信搜：import_bigdata，大数据领域硬核原创作者
09-19 779
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hbase部分补充。 Phoenix组件和原生Hbase查询的时间性能对比 原生Hbase查询时间： count'mysql_data' enter image description here Hbase查询时间为3856秒大约1小时7分钟 Hbase查询优化 count'mysql_data', INTERVAL =>10000000 ...
HBase海量业务数据二级查询实现毫秒级响应，HBase原理与数据模型设计详解
Jack__iT的博客
04-27 1109
为什么需要使用HBase做海量业务数据的存储 1、扩展性强、容量大，支持百亿行、百万列数据的存储。HBase底层基于HDFS，可动态增加节点 2、高可靠性，WAL机制保证数据的安全性，Replication机制保证集群的数据容灾能力 3、高性能，由于底层的LSM数据结构和RowKey有序排序，HBase具备较好的随机读取性能，RowKey的查询可达毫秒级响应 4、稀疏性、面向列存储，空列不...
使用hbase来解决上亿条数据的准实时响应
long13631的博客
03-30 7558
使用hbase来解决亿级数据的准实时响应 项目中的app行为日志，用户授权收集的通讯录、通话记录、短信和联系人信息，随着时间的推进，数据量进入亿数据级，千万级的创建索引，来加快查询速度的优化方式，此时可能已经不起作用了。为解决信审阶段实时的查询请求，引入hbase来解决响应慢的问题。 When Should I Use HBase? HBase isn’t suitable for every p...
HBase如何快速查询
ThreeAspects的博客
04-23 2900
   HBase能提供实时计算服务主要原因是由其架构和底层的数据结构决定的，即由LSM-Tree(Log-Structured Merge-Tree) + region分区 + Cache决定——客户端可以直接定位到要查数据所在的HRegion server服务器，然后直接在服务器的一个region上查找要匹配的数据，并且这些数据部分是经过cache缓存的。    HBase会将数据保存到内存中，...
HBase的快速查询
varyall的专栏
01-17 784
快速查询和实时查询  快速查询：  一、分区存储  HBase将每个表划分为多个region，每个region用rowkey来华为，数据的查询也是通过rowkey来查询  查询过程：client向HBase依赖的zookeeper获取metaregion的位置，然后通过metaregion中的记录获取到所要查询的rowkey  对应的region，这样就确定到一个region范围  二、HFile...
Hbase库亿级大数据性能测试
tomalun的专栏
08-24 4814
测试环境配置信息 Ambari+HDP大数据平台，5个节点服务器 CPU配置：16核 Intel 2.20GHz 操作系统：CentOS7.7/Linux x86_64 HDFS空间：4TB HDFS文件备份数：3节点 Hbase MASTER和REGIONSERVERS各一个 测试数据模型 模拟某酒店顾客信息表1个列族，33列字段，目标数据量1亿+ 一、新增数据性能 单条数据插入，平均不到250条/秒，每1000条需要4秒多，平均每条耗时4毫秒 本地往服务器批量插入数据，平均在...
精选资源
HBase可视化客户端
08-31
基于JavaFX + HBase API开发，支持HBase2.4.x版本 核心功能如下： 1. 查询：支持对 HBase 进行单行查询、范围查询以及全表扫描，并支持 14 种过滤器的实现以及多版本查询！ 2. 管理：HBase表格数据的增删查、命名...
blog-hbase的安装与简单操作
11-10
HBase安装与简单操作指南 Apache HBase是一个开源的、非关系型的分布式数据库（NoSQL），它建立在Hadoop文件系统之上，利用Hadoop的存储和并行计算功能。HBase是Google BigTable的开源实现，特别适合于存储稀疏数据...
hbase-2.4.17-bin 安装包
08-28
HBase是Apache Hadoop生态系统中的一个分布式、版本化、列族式存储系统，设计用于处理大规模数据集。这个“hbase-2.4.17-bin”安装包提供了HBase的最新稳定版本2.4.17，适用于大数据处理和分析场景。下面将详细介绍...
精选资源
在Ubuntu安装配置hbase
04-24
在Ubuntu系统上安装配置HBase是一项重要的任务，尤其对于那些需要处理大规模数据的项目而言。HBase是一个分布式的、面向列的开源数据库，它构建于Hadoop之上，提供了实时读写和强一致性。以下是在Ubuntu上安装和配置...
hbase原理及优化 ----持续更新中
皮皮虾的博客
03-29 1086
Hbase是什么？ 基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。 适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。 为null的记录不会被存储.不占用空间 表包含rowkey，时间戳，和列族。新写入数据时，时间戳更新，同时可以查询到以前的版本. 是主从架构。hmaster作为主节点，hregionserver作为从节点。 HBase 的特点是什么？ 大：一个表可以有数十亿行，上百万列； 每行都有一个可排序的主键和任意
HBase面试总结
lbg20211023的博客
07-14 456
hbase概述 hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力...
hbase 按时刻查询_Hbase查询工具类，根据时间查询数据
weixin_39560066的博客
12-28 1948
1，需求：已知空气监测数据在hbase中存储，要求按照时间，查询citycode为110000(北京)一个月的数据，数据为每日的监测数据ID ,CITYCODE,SO2 ,CO,NO2 ,O3, PM10,PM2_5,AQI,MEASURE, TIMEPOINT13110000020141120, 110000,31,3.939,141,8,368,301,351,6,2014-11-20511...
为何HBase速度很快
热门推荐
我喂自己袋盐
03-17 1万+
为何HBase速度很快
Hbase查询效率
zh_nanfang的博客
08-02 9106
HBase查询效率揭秘： (1) Hbase通过rowkey可以快速地位到在那个region上，位置信息保存在hbase的meta表里。 每次查询都会有location cache的，所以htable里面的Hconnection 初始化的时候访问速度相对来说稍慢，客户端缓存截图如下。随着数据越来越大，meta表的查询有可能遇到瓶颈，建议单独独立出成一个meta server。 (2) H...
HBase——查询延迟的时间分布
04-06 4147
查询时间 对于HBase的查询而言，大体时间分为 zookeeper检查时间WAL Split时间Region重新分布时间WAL Replay时间 zookeeper检查时间  影响要素：        zookeeper跟regionserver之间session的timeout时间  关联设置：      1. zookeeper.session.timeout     默认
HBase性能优化方法总结（一）：表的设计
weixin_33726313的博客
03-08 217
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。 下面是本文总结的第一部分内容：表的设计相关的优化方法。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个re...
Hbase
最新发布
08-22
### HBase概述 HBase是一个分布式的、可扩展的、基于Hadoop的NoSQL数据库，专为处理大规模数据集而设计。它基于Google的Bigtable论文实现，并与Hadoop生态系统紧密集成。HBase支持随机、实时的读写操作，适用于需要...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值