Dreamershi的专栏

1. HFile原理概述最初的HFile格式(HFile V1)，参考了Bigtable的SSTable以及Hadoop的TFile(HADOOP-3315)。如下图所示：HFile在生成之前，数据在内存中已经是按序组织的。存放用户数据的KeyValue，被存储在一个个默认为64kb大小的Data Block中，在Data Index部分存储了每一个Data Block的索引信息{Offset，Size，FirstKey}，而Data Index的索引信息{Data Index Offset,

1. HBase Schema及Rowkey设计HBase 在实际生产使用中，需要根据具体的业务使用场景，给出相匹配的Rowkey 设计及HBase表Schema 设计，提升HBase 的使用性能，同时避免出现热点瓶颈问题。1.1 HBase 表Schema 设计原则在HBase 中有许多不同的数据集，具有不同的访问Schema 级别和服务级别的期望，下面的设计法则只是概述：目标 region 的大小介于10 到50 GB 之间。 单个单元格大小不要超过10 MB，如果使用MOB，则为

HBCK2工具介绍在实际生产环境中，会因为各种各样的因素（如用户的误操作、HDFS 故障、HBase 集群节点掉电等），可能使HBase 集群出现故障，导致集群不可用，常见的故障有Region 出现RIT 问题、Procedure出现卡死情况等。为了解决这些问题，HBase社区提供了HBCK 工具来进行修复。在HBase1.x版本中自带hbck（即hbck-1）工具包命令，可以直接去向 region server 或者 hdfs 发送请求进行修复，但是在HBase2.x版本中集群内部操作全部都被挪到了

关于HBCK2的介绍，可以查看文章 hbck2工具使用指南这里不做太多赘述。本系列文章主要结合线上HBase环境出现一系列问题，进行分析HBCK2工具中出现问题如何具体解决，以及其中的原理及实现进行分析。背景介绍我们在某项目上使用CDH版本的HBase2.1.0，某日忽然接到告警业务中断，HBase无法读写。具体原因大概是开发人员修改了个hdfs的配置，重启HDFS短期影响了业务，HDFS启动期间，又对HBase进行了重启，发生长时间不能读写了。查看HDFS和HBase的服务状态都是正常的，

Hbase的表会被划分为1....n个Region,被托管在RegionServer中。Region二个重要的属性：Startkey与EndKey表示这个Region维护的rowkey的范围，当我们要读写数据时，如果rowkey落在某个start-end key范围内，那么就会定位到目标region并且读写到相关的数据。    默认情况下，当我们通过hbaseAdmin指定TableDes

1. region情况需要检查1. region的数量（总数和每台regionserver上的region数）2. region的大小如果发现异常可以通过手动merge region和手动分配region来调整从CDH前台和master前台以及regionServer的前台都可以看到region数量，如master前台：      在

快速查询可以分作两方面： 一是根据亿级的记录中快速查询，二是以实时的方式查询数据。A：如果快速查询（从磁盘读数据），hbase是根据rowkey查询的，只要能快速的定位rowkey,  就能实现快速的查询，主要是以下因素：     1、hbase是可划分成多个region，你可以简单的理解为关系型数据库的多个分区。      2、键是排好序了的      3、按列存储的

目前开始学习Hbase，通过API在HBase中建表，代码如下：Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "cmaster1.hadoop.xxt.cn,cmaster0.hadoop.xxt.cn,cslave0.hadoop.xxt.cn"); Co

1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？我们先看下 Hbase 的写流程：通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，comp