- 博客(18)
- 收藏
- 关注
原创 HBASE PUT讲解
客户端就不多讲了、主要讲服务端客户端主要操作就是将put放到缓存中、缓存中数据达到设定值之后就开始分类到不同的RS上去执行,用Futrue接收返回结果服务端:批量添加服务端的入口为:multi(MultiAction multi) 按Region分类判断RS mem时候超了最高 globalMemStoreLimit ,如果超过执行下面------------
2016-02-18 19:00:48
2623
原创 hbase 之 compaction
主要基于0.94.17compaction 什么时候出发等在Chore部分已经进行了讲解,下面我们看一下具体的guocheng
2016-02-18 19:00:11
546
原创 HBase 之 TableDescriptors FSTableDescriptors HTableDescriptor HColumnDescriptor
1、 HColumnDescriptor 描述列族的属性信息
2016-02-18 18:58:00
6164
原创 bloom filter
bloom filter 也称"布隆过滤器"是由 Howard Bloom 在 1970 年提出的二进制向量数据结构,简单的逻辑就是将一个数据值映射到一个二进制L长度的K个位上,有点类似于bit-map的情况,它可以以较低的空间占用去判断某一个元素是不是在某个集合中,对于元素不在集合中的情况的判断率是100%的,但是对于元素在某个集合的情况的判断率是有误差的,误差可以通过调节K和L做调整,可以应用
2015-07-25 19:37:58
311
原创 hbase 之 presplit
使用HBase Shell建表的时候,除了一些常用的option以外,我们还可以同时建立一些预分区,这样可以预防初次插入数据时热点问题。通过直接输入create,我们可以看到有如下提示:?123456789101112Examples: hbase> create't1', {NAME
2014-04-26 11:31:33
1623
原创 Hbase 之zookeeper
推荐zookeeper 的入门:http://sishuok.com/forum/blogPost/list/5450.html接下来讲一下hbase怎么应用hbase先看了zookeeper和hbase结合的架构ps:uml 用的不熟悉,而且很卡,只画了个大概,process的参数是:WatchedEvent当hbase有变化的时候process就会获取到变动事件,变动事
2014-04-23 14:14:42
563
原创 hbase 之 Coprocessor
Coprocessor 主要有两大功能点 一、Observer ,有点象拦截器或spring中的通知等,直白的描述就是在一个函数do() 执行前加predo()执行后加 postdo()通过下面序列图我们看一下Observer怎么和其它组件一起工作的二、Endpoint,最容易理解的就是当我们要在做count的时候,我们需要将所有计算count的值都返回,然后在客户端再循
2014-04-23 14:09:23
606
原创 HregionServer 启动部分讲解
记录JVMINFO RuntimeMXBean runtime = ManagementFactory.getRuntimeMXBean(); if (runtime != null) { LOG.info("vmName=" + runtime.getVmName() + ", vmVendor=" + runtime.getVmVend
2014-03-27 16:40:02
902
原创 Hmaster 启动讲解
ps:发现想写明白确实不太容易、以下会慢慢完善Hmaster启动会先执行Hmaster 构造函数,看看它都做了什么:初始化conf、rpcServer、isa(InetAddressServer)、ServerName、zookeep、rpcServer start 、metrics如果应用security注意以下两点:login the zookeeper c
2014-03-25 13:32:06
1119
原创 Hbase 执行事件(EventHandler 、 ExcutorService 、Excutor)
EventHandler 是一个Hbase所有事件的一个抽象类,所有子类都应该实现process方法,如果有必要子类需要在自己的构造函数中去检查表是否存在、是否disable等等。EventHandler中定义EventType 即事件类型,事件类型主要有如下几大类 // Messages originating from RS (NOTE: there is NO direct
2014-03-24 15:25:57
952
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人