江河万川

Compact作用       当MemStore超过阀值的时候，就要flush到HDFS上生成一个HFile。因此随着不断写入，HFile的数量将会越来越多，根据前面所述，HFile数量过多会降低读性能。为了避免对读性能的影响，可以对这些HFile进行compact操作，把多个HFile合并成一个HFile。compact操作需要对HBase的数据进行多次的重新读写，因此这个过程会产生大量的

大体上是统计查询20天的数据总数，数据量大概10多个亿，算起来还行啊，就是报这个错误。在源码中找到报错的地方，大体上是客户端向服务端发送完查询请求，但是服务端还在处理时，客户端已经关掉连接了，各种配置RPC.Timeout，什么配置项都调了，回头还是没用？？？大神们，求帮忙呢。

HBase的SocketTimeoutException错误，这个是在HBase子节点中时常报的错误，如图：       但是却没有影响集群运行，在网上搜集了很多资料，一直觉得这也是hdfs端错误造成的，查看hadoop中datanode子节点日志，意外发现这里面时常也会出现：       查看了网上很多说明，最终都归结到dfs.socket.timeout这个配置项中来了

近期在处理HBase的业务方面常常遇到各种瓶颈，一天大概一亿条数据，在HBase性能调优方面进行相关配置和调优后取得了一定的成效，于是，特此在这里总结了一下关于HBase全面的配置，主要参考我的另外两篇文章：（1）http://blog.youkuaiyun.com/u014297175/article/details/47975875（2）http://blog.youkuaiyun.com/u01429717

HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读数据；上面一篇文章已经介绍过Memstore，这里主要介绍读取数据的部分，即BlockCache。  BlockCache主要提供给读使用。读请求先到memstore中查数据，查不到就到blockcache中查，再查不到就会到磁盘上读，并把读的结果放入b

Hbase—MemstoreHBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读数据；这里主要介绍写数据的部分，即Memstore。当RegionServer(RS)收到写请求的时候(writerequest)，RS会将请求转至相应的Region。每一个Region都存储着一些列(a set of