泰格数据

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。HBase架构组成HBase采用Mas

HBase是一个相对较复杂的分布式系统，并发写入的性能非常高。然而，分布式系统从结构上来讲，也相对较复杂，模块繁多，各个模块之间也很容易出现一些问题，所以对像HBase这样的大型分布式系统来说，优化系统运行，及时解决系统运行过程中出现的问题也变得至关重要。正所谓：“你”若安好，便是晴天；“你”若有恙，我便没有星期天。历史现状HBase交接到我们团队手上时，已经在线上运行有一大段时间

本文结合HBase 0.94.1版本源码，对HBase的Block Cache实现机制进行分析，总结学习其Cache设计的核心思想。1. 概述HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。写请求会先写入Memstore，Regionserver会给每个region提供一个Memstor

hbase.tmp.dir：本地文件系统的临时目录，默认是java.io.tmpdir/hbase−hbase.rootdir：hbase持久化的目录，被所有regionserver共享，默认${hbase.tmp.dir}/hbase，一般设置为hdfs://namenode.example.org:9000/hbase类似，带全限定名；hbase.cluster.distributed

一、服务端调优 1、参数配置   1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越大越好。   2）、hbase.h

最近生产上rs服务频繁挂，都是因为gc时间过久导致的session超时，其实服务是好的，只是被zk认为死了，所以rs自己也就把自己kill了  首先会考虑到调高Session的容忍度，默认180000其实这个回话有效期已经够长的了，但是有的集群是可以   降低了这个值，可能会造成Session 超时，这个参数是 zookeeper.session.timeout 默认18000。   

项目使用phoenix连接HBASE，数据用spark处理后通过phoenix批量插入到HBASE中，其中，提交频率为5000条提交一次  发现插入表大的时候，速度变慢，查看日志发现如下线索：client.AsyncProcess: #1, waiting for 5012 actions to finish        查看网上很多线索，主要有几种解释：一种是ZK的

java.io.IOException: Call to /192.168.2.6:9000 failed on local exception: java.io.IOException: Broken pipehbase启动可能会出错导致失败，java.io.IOException: Call to /192.168.2.6:9000 failed on local except

在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭

1. 简介　　HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2. HBase的表结构　　HBase以表的

安装hbase http://hbase.apache.org/1．解压缩hbase的软件包，使用命令：

HBase提供了Java API对其进行管理，包括对表的管理、数据的操作等。1. HBaseAdmin —— 对表的创建、删除、显示以及修改等；  2. HTable —— 通过HTable的实例来访问表并进行数据的操作，获取表实例如下两种方法：   方法一：直接获取   HTable table = new HTable(config, tableName);   方法二

Hbase 0.94.0版本中，对于region的split方式引入了一个非常方便的SplitPolicy，通过这个SplitPolicy，可以主动的干预控制region split的方式。在org.apache.Hadoop.hbase.regionserver包中，可以找到这么几个自带的splitPolicy： ConstantSizeRegionSplitPolicy, Increasi