hbase
关注
分享
扫一扫
文章平均质量分 68
justin051
这个作者很懒，什么都没留下…
展开
-
ZK Timeout再讨论
http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题，但是又出现了一个问题，我把min和max都设置成了180000，但是仍然出现了以下的异常信息：Client session timed out, have not heard from server in 154339ms for sessionid 0x13a3f7732340003 ......原创 2012-10-18 15:29:03 · 787 阅读 · 0 评论 -
zookeeper超时--minSessionTimeout与maxSessionTimeout
很多同学可能有这样的疑问，我明明把连接zk客户端的超时时间sessionTimeout设置为180秒了，可是为什么仅仅过了40几秒就超时了？ 其实只这么设置，根本没有任何作用，因为客户端将sessionTimeout的值传给zk时，zk还会根据minSessionTimeout与maxSessionTimeout两个参数重新调整最后的超时值 public int get...原创 2012-10-08 16:55:17 · 357 阅读 · 0 评论 -
HBase备份与还原
转载两篇相关文章：第一篇、http://blog.nosqlfan.com/html/3014.html HBase 增量备份和还原工具HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。下面设增量备份的python脚本。在这个脚本中，每天做增量备份，每个月15日做全备份。 import timeimport d...原创 2012-09-18 13:53:21 · 210 阅读 · 0 评论 -
Thrift安装中出现的问题（For HBase）
安装巨简单：进入thrift根目录 ./configure --> ./make --> make install 为了在某些简单环境下，决定采用python来访问hbase 1、在make的时候出现fatal error: Python.h: No such file or directory的错误：答：没有安装python-dev的包，运行sudo apt-...原创 2012-09-06 10:55:38 · 147 阅读 · 0 评论 -
hadoop 0.20.203 数据迁移至 cdh3u3
假如用hadoop0.20.203版本，hbase会提示hdfs不支持append特性而可能会导致数据丢失，而且事实上，这种情况在我们系统中已经遇到，在写数据的时候，rs挂掉，数据丢失。 暂时准备把hadoop迁移到cdh3u3上， 因为是不同版本之间的迁移，所以只能用hftp,./hadoop distcp hftp://server1:50070/hbase/test hdfs:/...原创 2012-08-29 08:40:34 · 161 阅读 · 0 评论 -
HBase Backup Options
If you are thinking about using HBase you will likely want to understand HBase backup options. I know we did, so let us share what we found. Please let us know what we missed and what you use for HB...原创 2012-08-23 15:24:37 · 156 阅读 · 0 评论 -
HBase LRU源码解析
先来看下LruBlockCache的构造，关键是看清每个参数的作用:[code="java"] /** * Configurable constructor. Use this constructor if not using defaults. * @param maxSize maximum size of this cache, in bytes * @p...原创 2012-08-13 14:52:51 · 245 阅读 · 0 评论 -
HBase RegionServer挂掉后的源码分析
首先肯定是HMaster通过ZK发现某RS挂掉了，HMaster使用private ServerManager serverManager来处理rs的信息：[code="java"] public synchronized void expireServer(final HServerInfo hsi) { // 首先从onlineServers中获取HServerInfo...原创 2012-08-13 11:20:21 · 328 阅读 · 0 评论 -
HBase架构简介
HBase的架构简介，有兴趣的可以看看。原创 2012-08-06 10:47:31 · 75 阅读 · 0 评论 -
简单HBase笔记
一、Client-side write buffer 客户端缓存请求描述：可以缓存客户端的请求，以此来减少RPC的次数，但是缓存只是被存在一个ArrayList中，所以多线程访问时不安全的。可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。二、Scan的Caching描述： next( )方法请求一行就要使用一次RPC,即使你指定了next...原创 2012-10-26 16:35:14 · 124 阅读 · 0 评论 -
诡异的超长时间GC问题定位
HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志：2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700...2012-10-19 16:45:29 · 491 阅读 · 0 评论 -
HBase异常记录
一、YouAreDeadExceptionFATAL org.apache.hadoop.hbase.regionserver.HRegionServer: ABORTING region server serverName=cloud13,60020,1348890729197, load=(requests=0, regions=375, usedHeap=2455, maxHeap=6...原创 2012-10-09 11:19:09 · 628 阅读 · 0 评论