迎难而上

读流程从头到尾可以分为如下4个步骤：1. Client-Server读取交互逻辑，2. Server端Scan框架体系，3. 过滤淘汰不符合查询条件的HFile，4. 从HFile中读取待查找Key。其中Client-Server交互逻辑主要介绍HBase客户端在整个scan请求的过程中是如何与服务器端进行交互的，理解这点对于使用HBase Scan API进行数据读取非常重要。了解Server端Scan框架体系，从宏观上介绍HBase RegionServer如何逐步处理一次scan请求。

flush阶段生成HFile和Compaction阶段生成HFile的流程完全相同，不同的是，flush读取的是MemStore中的KeyValue写成HFile，而Compaction读取的是多个HFile中的KeyValue写成一个大的HFile，KeyValue来源不同。

HBase架构组成HMaster组成HRegionServer节点Zookeeper集群HBase容错机制HBase架构组成HBase 采用 Master / Slave 架构搭建集群，它隶属于 Hadoop 生态系统，由以下几个类型的节点组成HMaster节点、HRegionServer节点、ZooKeeper集群而在底层，它将数据存储于...

参考文章 ：在阐述HBase高级特性和热点问题处理前，首先回顾一下HBase的特点：分布式、列存储、支持实时读写、存储的数据类型都是字节数组byte[]，主要用来处理结构化和半结构化数据，底层数据存储基于hdfs。同时，HBase和传统数据库一样提供了事务的概念，但是HBase的事务是行级事务，可以保证行级数据的原子性、一致性、隔离性以及持久性。布隆过滤器（Bloom Filter）是空间利用效率很高的数据结构，利用位数组表示一个集合，判断一个元素是否属于该集合。

参考文章 ：https://www.jianshu.com/p/5c846e205f5fLSM-tree 在 NoSQL 系统里非常常见，基本已经成为必选方案了。今天介绍一下 LSM-tree 的主要思想，再举一个 LevelDB 的例子。目录LSM-tree写入流程：查询流程：LevelDB写入流程：查询流程：LSM-tree读写放大写放大：...

参考文章：1.详解布隆过滤器的原理、使用场景和注意事项https://www.jianshu.com/p/2104d11ee0a22.数学之美：布隆过滤器https://zhuanlan.zhihu.com/p/72378274什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点...

Hbase 中使用了大名鼎鼎的 bloom filter, 我们来学习一下 bloom filter.原文地址：https://www.cnblogs.com/zhxshseu/p/5289871.html其他参考文章：Hbase 布隆过滤器BloomFilter介绍https://blog.youkuaiyun.com/opensure/article/details...

本篇文章主要介绍 HBase 中的 LSM -Tree 中的合并，分为以下几个部分目录LSM-Tree Compaction 主要流程Compaction 作用Compaction 分类Minor Compaction :Major Compaction :Compaction 触发条件MemStore Flush：后台线程周期性检查：手动...

很多人在使用客户端api进行hbase连接的时候，会提出hbase是否有连接池，怎么实现hbase的连接池的问题，更有甚者，许多初学者在开发hbase代码的时候，经常出现hbase连接数的限制等连接问题，归根结底还是对hbase的连接对象Connection不甚了解，下面我们来详细剖析一下hbase的连接对象：

HBase 升级方案HBase 2.0 新特性1) AssignmentManager V22)In-memory Flush & Compaction3) Offheaping of Read/Write PathHBase 2.0 的 “坑”1) V2.0.3之前的版本不支持HBCK22) 重度依赖 Procedure V2...

本文主要讲解如何通过 Java API 操作 HBase

HBase 的Shell 是操作HBase 的重要手段。下面我们讲解下Hbase Shell 都能完成那些功能。目录启动Hbase Shell帮助退出debug 模式输入截至 ...

目录namespace 基本概念namespace 基本操作namespace 相关的创建操作namespace 相关的删除操作namespace相关的查询操作namespace 相关的修改操作namespace 基本概念在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apa...

HBase 的计数器在 点击流和广告统计中非常常用。本篇文章我们将从 shell 和 java API 两个方面去探索 Hbase 的计数器的使用。

在上一篇文章，我们讲解了 Hbase 中的扫描器，这篇文章，我们讲解下过滤器。 过滤器可以对扫描的数据进行一定程度的过滤，当然这个流程是在服务器端进行执行的。过滤器最基本的接口为 Filter, 除此之外，还有一些由HBase 提供的无需编程就可以直接使用的类。Filter 执行流程所有的过滤器都在服务端生效，叫做谓词下推。这样可以保证过滤掉的数据不会传送到客户端。...

Hbase 取数据通过 Get 方法去取数据还是效率太低了。这里我们学习下如何获取一批数据。这里我们首先学习下Scan ，Scan 是基础，在Scan中可以设置过滤器 Filter。扫描器 扫描技术。这种技术类似于数据库系统中的游标（cursor), 并利用到了HBase 提供的底层顺序存储的数据结构。扫描操作的工作方式类似于迭代器，用户无需调用scan...

本篇文章主要承接第一篇文章，继续讲解更加高效的batch操作xxxxxx

由于网上的HBase Java API 大多都是基于 Hbase 1.0 + 的，故写了这篇文章。参考了以下文章：https://blog.youkuaiyun.com/u012893747/article/details/84753988本篇文章只讲解下 基本的 CURD 操作，更为复杂的操作，我们放到后面讲解。目录依赖包建立连接创建表删除列族删除表插入数据...

https://blog.51cto.com/14744108/2486385HBase最大版本数量 HBase 通过 HColumnDescriptor 为每个列族配置要存储的最大行数版本。最大版本的默认值为1。这是一个重要的参数，因为如数据模型部分所述，HBase 也没有覆盖行的值，而是按时间（和限定符）存储不同的值。在重要的压缩过程中删除多余的版本。最大版本的数...

由于我对HBase 中的表 ，存在非常多的疑惑。所以现在我对 HTable 的组织形式做一个整理。先上一个表 官腔一点的描述：HBase 是按照 BigTable 模式实现的，是一个稀疏的，分布式的，持久化的，多维的映射，由行键，列键和时间戳索引。 HBase 中的表 存在 行键，列族， 列， 时间戳（版本） 各种各样的概念。 那么它们之间是一个什么样的关系呢？...

我们可以利用 Hbase-shell 进行版本的查看进入Hbase-shell 后可以看到 hbase版本[root@cdh-manager ~]# hbase shellJava HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be remove...