
hbase
sghuu
这个作者很懒,什么都没留下…
展开
-
hbase的hfile compaction 以及region的split
hfile compaction由于memstore每次刷写都会生成一个新的HFile,且同一个字段的不同版本(timestamp)和不同类型(Put/Delete)有可能会分布在不同的HFile中,因此查询时需要遍历所有的HFile。为了减少HFile的个数,以及清理掉过期和删除的数据,会进行StoreFile Compaction。Compaction分为两种,分别是Minor Compa...原创 2019-11-07 15:57:19 · 442 阅读 · 0 评论 -
hbase优化
一、 高可用在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。1.关闭HBase集群(如果没有开启则跳过此步)[atguigu@hadoop102 hbase]$ bin/stop-hb...原创 2019-11-07 15:45:05 · 120 阅读 · 0 评论 -
hbase查询为何快(超详细)摘抄
A:如果快速查询(从磁盘读数据),hbase是根据rowkey查询的,只要能快速的定位rowkey, 就能实现快速的查询,主要是以下因素:1、hbase是可划分成多个region,你可以简单的理解为关系型数据库的多个分区。2、键是排好序了的3、按列存储的首先,能快速找到行所在的region(分区),假设表有10亿条记录,占空间1TB, 分列成了500个region, 1个regio...原创 2019-11-07 15:29:56 · 1822 阅读 · 0 评论 -
Hbase的API操作
理解好Put、Cell,Result等的概念package com.atguigu.hbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hba...原创 2019-10-26 09:17:00 · 179 阅读 · 0 评论 -
Hbase架构详解
1)StoreFile保存实际数据的物理文件,StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的。2)MemStore写缓存,由于HFile中的数据要求是有序的,所以数据是先存储在MemStore中,排好序后,等到达刷写时机才会刷写到HFile,每次刷写都会形成一个新的HFile。3...原创 2019-10-23 18:57:44 · 1447 阅读 · 0 评论