
hbase
文章平均质量分 77
修鹏李
数据储存和处理架构、推荐系统架构
展开
-
MemStoreChunkPool&MSLAB提升HBASE GC性能
MemStore-Local Allocation Buffers通过预先分配内存块的方式解决了因为内存碎片造成的Full GC问题,但是对于频繁更新操作的时候,MemStore被flush到文件系统时没有reference的chunk还是会触发很多的Young GC。所以HBase-8163提出了MemStoreChunkPool的概念,也就是由HBase来管理一个ChunkPool用来存放原创 2014-11-08 02:52:21 · 27808 阅读 · 0 评论 -
Hbase架构简介、实践
Hbase架构简介、实践原创 2014-12-21 20:50:24 · 7966 阅读 · 1 评论 -
Hbase 查询为什么快
1、数据分区存储(region)2、各种过滤器原创 2014-11-05 21:16:24 · 15945 阅读 · 4 评论 -
hbase 协处理器
HBase协处理器受到Google BigTable协处理器的启发,并在设计上支持高效的并行计算——超越Hadoop MapReduce可以提供的性能。此外,可以将协处理器用于实现新特性,例如二级索引、复杂过滤(下推谓词)和访问控制。尽管是受BigTable的启发,但HBase协处理器在实现细节上与之存在差别。开发者们实现了一个框架,提供库和运行时环境,用于在HBase域服务器(即相同的J原创 2014-11-06 16:47:18 · 26437 阅读 · 0 评论 -
hbase HFile V3介绍
hbase HFile V3介绍原创 2014-11-06 15:05:52 · 35342 阅读 · 1 评论 -
hbase维护操作命令
1、基本命令: 建表:原创 2014-11-10 15:41:50 · 40073 阅读 · 0 评论 -
基本存储引擎比较
三种基本的存储引擎比较 ----哈希存储引擎、B树存储引擎、LSM树(Log-Structured Merge Tree)存储引擎原创 2014-11-07 19:11:00 · 33960 阅读 · 0 评论 -
Hbase 查询过程详解(基于hbase0.98版本后分析的)
1、hbase0.96版本后删除了原创 2014-11-06 11:04:52 · 12254 阅读 · 11 评论 -
Hbase schema&table 设计实践
Hbase schema&table 设计实践原创 2014-11-07 17:26:11 · 37990 阅读 · 4 评论 -
HFile V2介绍[0.92到0.98之前的版本]
在hbase 0.92版本中,为了改进在大数据存储下的效率,HFile做了改变。HFile V1的主要问题是,你需要加载(load)所有的单片索引和BloomFilter到内存中。为了解决这个问题,v2引入了多级索引和分块BloomFilter。HFile v2改进了速度,内存和缓存利用率。 HFile V2的wen格式如下:原创 2014-11-06 15:19:01 · 30215 阅读 · 0 评论 -
避免regionServer宕机
因为regionserver 的管理信息主要记录在zookeeper,regionserver的宕机判断依据是session expired。ok那么regionserver 和Zookeeper的session expired原因有哪些尼?1. 网络不好。2. Java full GC, 这会block所有的线程。如果时间比较长,也会导致session expired原创 2015-01-05 12:05:18 · 4790 阅读 · 0 评论