tianqinglei的博客

1.1 Write-Ahead-Log（WAL）保障数据高可用 该机制用于数据的容错和恢复： 每个HRegionServer中都有一个HLog对象，HLog是一个实现Write Ahead Log的类，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中（HLog文件格式见后续），HLog文件定期会滚动出新的，并删除旧的文件（已持久化到StoreFile中的数据

1. hbase简介 1.1. 什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Google Bigtable的开源实现，但是也有很多不同之处。

1.1架构图 1.1.1. 写流程 1、 client向hregionserver发送写请求。 2、 hregionserver将数据写到hlog（write ahead log）。为了数据的持久化和恢复。 3、 hregionserver将数据写到内存（memstore） 4、 反馈client写成功。 1.1.2. 数据flush过程 1、 当memstore数据达到阈值

区域的拆分和合并 ---------------- //区域名 ns1:t2,row597,1503630769769.700f502b0f1dec036f48b95adb4fe63b. //编码区域名,该名称对前边ns1:t2,row597,1503630769769.记性md5哈希算法得出的字符串,目的在于散列 527db22f95c8a9e0116f0cc13c680396

创建表同时预切割区域 可以防止数据倾斜 ------------------ $hbase>create 'ns1:t3', 'f1', SPLITS => ['row3000000', 'row600000'] /** * 添加批量数据 */ public void bigput(int start , int end) throws Exception { DecimalF

扫描 ----------------- 不应该全表扫描. 缓存和批处理 ----------------- 扫描器缓存可以在一次RPC中返回多条记录。默认是关闭的。 从两个层面上控制扫描器缓存。 全局配置.(优先级最低) hbase.client.scanner.caching 2147483647 1.表层面() HTable.set HConsta

1.1. hbase过滤器 1.1.1. FilterList FilterList 代表一个过滤器列表，可以添加多个过滤器进行查询，多个过滤器之间的关系有： 与关系（符合所有）：FilterList.Operator.MUST_PASS_ALL   或关系（符合任一）：FilterList.Operator.MUST_PASS_ONE   使用方法： FilterList