
hbase
kevin6899
这个作者很懒,什么都没留下…
展开
-
详解HBase Compaction
HBase 中有一种数据行为叫Compaction,从字面的意思就是数据文件合并,本文对Compaction的目的,控制方法,具体实施过程等几个方面对HBase 的 Compaction 行为进行了介绍。1. Compaction是什么合并多个HFile生成一个HFileCompaction有两种:Minor Compaction(部分文件合并)Major Compac转载 2013-04-12 09:40:14 · 828 阅读 · 0 评论 -
Increment V.S. Read-Modify-Write in HBase
http://blog.zyxar.com/2011/516转载 2013-04-12 09:55:53 · 609 阅读 · 0 评论 -
HBase Bug 知多少
HBase在阿里集团大规模使用已经有一年多时间了,随着online应用越来越多,对HBase的稳定性、实时性、可维护性要求越来越高。在业界HBase的发展也越来越快,每次技术论坛无疑都成为主角,但很多同学都还有疑惑:HBase真的靠谱么?在核心应用能大规模使用么?下面我就从测试的角度,分析下我们发现的bug,通过这些问题来了解HBase的发展现状和淘宝在稳定性上所做的一些工作。HB转载 2013-04-23 16:22:29 · 465 阅读 · 0 评论 -
hbase压缩算法-Snappy算法安装
Compression就是在用CPU换IO吞吐量/磁盘空间,如果没有什么特殊原因推荐针对Column Family设置compression,下面主要有三种算法: GZIP, LZO, Snappy,作者推荐使用Snappy,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。Comparison between compression algorithms转载 2013-04-12 09:44:59 · 748 阅读 · 0 评论 -
HBase二级索引与Join
二级索引与索引Join是Online业务系统要求存储引擎提供的基本特性。RDBMS支持得比较好,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来探讨如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,?ITHbase, Facebook和官方Coprocessor方案的介绍。理论转载 2013-04-23 16:21:33 · 548 阅读 · 0 评论 -
Hadoop压缩算法snappy
http://blog.sina.com.cn/s/blog_48a45b9501015mkb.htmlSnappy的前身是Zippy。虽然只是一个数据压缩库,它却被Google用于许多内部项目程,其中就包括BigTable,MapReduce和RPC。Google宣称它在这个库本身及其算法做了数据处理速度上的优化,作为代价,并没有考虑输出大小以及和其他类似工具的兼容性问题。Snappy已转载 2013-04-23 16:32:10 · 1036 阅读 · 0 评论 -
Cassandra和HBase主要设计思路对比
CassandraHBase 一致性Quorum NRW策略通过Gossip协议同步Merkle Tree,维护集群节点间的数据一致性单节点,无复制,强一致性可用性1,基于Consistent Hash相邻节点复制数据,数据存在于多个节点,无单点故障。2,某节点宕机,hash到该节点的新数据自动路由到下一节点做 h转载 2013-04-23 16:21:23 · 466 阅读 · 0 评论 -
HBase 线上问题分析小记
在7月初Tcon分布式系统测试实践的分享中,笔者提到了测试人员参与线上问题分析的必要性:1、测试工作中的问题定位提供了大量经验,可以直接应用于线上。2、快速的解决问题可以避免大故障的发生。3、从线上的问题可以帮助我们准确抓住测试的重点和不足。因此在日常的线上维护工作中,积累和很多HBase的问题分析经验,这里于大家分享一下,如有错误和不足请指出。问题分析的主要手段1、监控系统:首先转载 2013-04-23 16:22:36 · 835 阅读 · 0 评论