meiye的专栏

一、 Hbase存储框架 图1 Hbase存储架构图 1、 结构 HBase中的每张表都通过行键按照一定的范围被分割成多个子表（HRegion），默认一个HRegion超过256M就要被分割成两个，由HRegionServer管理，管理哪些HRegion由HMaster分配。 HRegionServer存取一个子表时，会创建一个HRegion对象，然后对表的每个列...

HBase 以客户端角色来调用服务器端的RPC实现  HBase 以客户端角色来调用服务器端的RPC实现  1. HBase的客户端RPC实际上是在Hadoop客户端RPC做的修改,具体的类为:     HBase org.apache.hadoop.hbase.ipc.HBaseRPC     Hadoop org.apache.hadoop.ipc.RPC      2. 大致流程

读文件  　　读文件时内部工作机制参看下图： 　　客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件位置

1. HBaseServer创建后有几个重要的角色.    1.1 Listener deamon线程,负责接收HMaster,HRegionServer,HBase Client的http请求.    1.2 Responder demon线程,负责将处理完的请求,发送回调用者.    1.3 Connection listener接收到的每个Socket请求都会创建一个Connectio

ZooKeeper是一个分步式的协作系统，何为协作，ZooKeeper价值又有何体现。通过这篇文章的分布式队列的案例，你将了解到ZooKeeper的强大。关于ZooKeeper的基本使用，请参考：ZooKeeper伪分步式集群安装及使用 目录 分布式队列 设计思路 程序实现 1. 分布式队列 队列有很多种产品，大都是消息系统所实现的，像ActiveMQ,JBossMQ,

所有的用户数据以及元数据的请求，在经过Region的定位，最终会落在RegionServer上，并由RegionServer实现数据的读写操作。本小节将重点介绍RegionServer的代码结构和功能，从实现细节上深入理解RegionServer对于数据的操作流程。 1 RegionServer概述 RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase

对于稳定维护hbase，全面掌握分布式系统中的每一台主机状况，以及检测系统可能或正在出现的瓶颈，强大的监控是必须的。  比如：  　　region数、block住的内存大小、请求数、命中率、flush/split/compact次数和时间、读写响应时间分布、storefile数目、jvm状况、  本文介绍将hbase监控加入ganglia中  hbase本身集成了jmx进行

调整参数 入门级的调优可以从调整参数开始。投入小，回报快。 1. Write Buffer Size 快速配置 Java代码   HTable htable = new HTable(config, tablename);   htable.setWriteBufferSize(6 * 1024 * 1024);   htable.setAutoFlush(false);