
Hbase
Hbase
大数据点滴
不忘初心,方得始终。
展开
-
HBase报错:Master is initializing
2、如果以上方式仍然没有效果,可能报错的原因二是:HDFS中和Zookeeper中的HBase没有删除,所以这里需要将其进行删除,具体的命令如下:注意:删除Zookeeper中的 /hbase 目录,需要保证zookeeper已经开启,否则无法连接上。在启动HBase之后进入bin/hbase shell 命令行进行一些操作,比如建表或者添加数据到表中出现这种报错org.apache.hadoop.hbase.PleaseHoldException: Master is initializing。原创 2024-03-29 10:25:16 · 6181 阅读 · 5 评论 -
Phoenix整合Hbase错误分析
在Hbase 2.0.5整合Phoenix 5.0.0时,当向已经建立二级索引的表格中插入数据时,会碰到如下错误:Caused by: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 1 action: org.apache.phoenix.hbase.index.builder.IndexBuildingFailureException: Failed to build index for une原创 2020-08-13 16:42:14 · 2797 阅读 · 0 评论 -
Phoenix 全局二级索引与本地二级索引简单对比
全局二级索引1. 原理:会新建一张表格,以索引列和原rowkey拼接作为新的rowkey2. 生效:查询必须能从索引表直出,索引才能生效3. 多列查询,索引生效办法 a. 针对所有查询列建立索引 b. 用Include,将要查询的值包含进索引表4. 对建立的索引的表插入数据时,会对原表以及原表的所有索引同时插入数据 插入负担更重,效率降低,相对的查询的效率变高了5. 适合场景:读多写少本地二级索引1. 原理:会在原表中插入新的行,以索引列和原r...原创 2020-08-13 15:28:57 · 3082 阅读 · 0 评论 -
HBase与Hive集成使用
1、Hive与HBase集成使用场景1.1 将HBase作为Hive数据源,让HBase支持类SQL操作创建Hive表映射HBase原有的表,实现HBase表更新后,Hive能获取到更新后的结果1.2 将Hive ETL数据存入HBase,便于快速查询创建Hive表映射HBase表,可以实现将Hive ETL后的结果被HBase访问1.3 构建低延时的数据仓库,利用HBase快速读写能力,实现数据实时查询2 Hive与HBase集成原理2.1 通过两者本身对外的API接口互相通信原创 2020-08-13 15:17:44 · 2758 阅读 · 0 评论 -
Phoenix 安装与使用(二级索引)
一 、Phoenix简介1.1 Phoenix定义Phoenix是一个HBase的开源SQL引擎。。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据。Phoenix的团队用了一句话概括Phoenix:"We put the SQL back in NoSQL" 意思是:我们把SQL又放回NoSQL去了!这边说的NoSQL专指HBase,意思是可以用SQL语句来查询Hbase1.2原创 2020-08-13 11:44:13 · 3006 阅读 · 0 评论 -
HBase优化
1 、预分区每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护。那么依照这个原则,我们可以将数据所要投放的分区提前大致的规划好,以提高HBase性能。1.手动设定预分区hbase> create 'staff1','info' ,SPLITS => ['1000','2000','3000','4000']2.生成16进制序列预分区create 'staff2','inf原创 2020-08-12 00:00:29 · 2731 阅读 · 0 评论 -
Hbase安装部署
1.1 Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动之:[@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start[@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start[@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh start1.2 Hadoop正常部署Hadoop集群的正常部署并启动:[@hadoop102 h原创 2020-08-10 22:54:57 · 1246 阅读 · 0 评论 -
Hbase基本语句
一、 HBase Shell操作1.1 基本操作1.进入HBase客户端命令行[@hadoop102 hbase]$ bin/hbase shell2.查看帮助命令hbase(main):001:0> help3.查看当前数据库中有哪些表hbase(main):002:0> list1.2 表的操作1.创建表hbase(main):002:0> create 'student','info'2.插入数据到表hbase(main):0原创 2020-08-10 19:25:57 · 7725 阅读 · 0 评论 -
Hbase架构
一、HBase基本架构架构角色:1)Region ServerRegion Server为 Region的管理者,其实现类为HRegionServer,主要作用如下:Regionserver维护region,处理对这些region的IO请求Regionserver负责切分在运行过程中变得过大的region对于数据的操作:get, put, delete;对于Region的操作:splitRegion、compactRegion。2)MasterMaster是所有...原创 2020-08-09 23:59:58 · 4146 阅读 · 0 评论 -
Hbase的存储结构
1、 HBase逻辑结构RowKey:是Byte array,是表中每条记录的“主键”,方便快速查找,Rowkey的设计非常重要。 在表中必须是唯一的而且必须存在的。Row Key是 按照字典序有序排列的 例如:row_key11 排列在row_key1和row_ley2之间。列(Column):属于某一个columnfamily,familyName:columnName,每条记录可动态添加列族(ColumnFamily)简称CF: .原创 2020-08-09 12:16:16 · 4677 阅读 · 0 评论 -
Hbase和Hive以及传统数据库的区别
一、Hbase和HiveHBase 是一种类似于数据库的存储层,也就是说 HBase 适用于结构化的存储。并且 HBase 是一种列式的分布式数据库。HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase 底层依旧依赖 HDFS 来作为其物理存储,这点类似于 Hive。逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map。1.实原创 2020-08-09 11:17:32 · 3659 阅读 · 0 评论