
云计算 hadoop hbase
Mr-zhou
本人从事hadoop方向工作希望和大家多有交流的机会和有志在此方向有所成绩的战友共同学习
展开
-
Hbase 各regionServer 时间不一致
可能会遇到个regionServer 时间不一致的问题,那如果时间不一致超过一定限度,比如30s hbase默认的容忍间隔。那再regionServerStartup 的时候 就会跑出一个异常 ClockOutOfSyncException还有一种地方 在regionserver 想master reportForDuty 的过程中会调用regionServerStartup 此时也会检查 时原创 2012-07-03 10:35:15 · 1624 阅读 · 0 评论 -
hbase region, store, storefile和列簇,的关系
转自:http://zhb-mccoy.iteye.com/blog/1543492 The HRegionServer opens the region and creates a corresponding HRegion object. Whenthe HRegion is opened it sets up a Store instance for each转载 2013-01-14 14:25:39 · 11824 阅读 · 1 评论 -
关于hbase的read操作的深入研究 region到storefile过程
转自:http://www.blogjava.net/hello-yun/archive/2012/07/18/383425.html这里面说的read既包括get,也包括scan,实际底层来看这两个操作也是一样的。我们将要讨论的是,当我们从一张表读取数据的时候hbase到底是怎么处理的。分二种情况来看,第一种就是表刚创建,所有put的数据还在memstore中,并没有刷新到hdfs上转载 2013-01-14 16:38:07 · 2808 阅读 · 0 评论 -
hadoop Namenode因硬盘写满无法启动
当写元数据的分区写满,可能导致namenode挂掉从而导致及时清理出大块的空间也无法启动namenode,那此时系统namenode会报错org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException: For input string:“”这是因为edit文件错误,此时执行 printf "原创 2013-01-16 13:09:17 · 3521 阅读 · 2 评论 -
org.apache.hadoop.hbase.NotServingRegionException: Region is not online 错误
当遇到如下错误的时候 可能以为是regionserver 挂掉或者其他原因导致连接不上regionserver 但后面提示了Hbase 表statistic_login 具体信息Thu Jan 17 15:30:12 CST 2013, org.apache.hadoop.hbase.client.ScannerCallable@5ec136e9, org.apache.hadoop.hba原创 2013-01-17 15:42:21 · 9893 阅读 · 3 评论 -
hadoop 中 RPC HTTP TCP/IP 服务器的用途
hadoop 守护进程一般同时运行RPC 和HTTP两个服务器,RPC服务器支持守护进程间的通信,HTTP服务器则提供与用户交互的Web页面。需要分别为各个服务器配置网络地址和端口号。当网络地址被设为 0.0.0.0的时候,Hadoop将于本机上所有的地址绑定。用户也可以将服务器与某个指定的地址绑定。端口号为0 表示服务器会选择一个空闲的端口号:但这种做法与集群范围的防火墙策略不兼容,因为防火墙通原创 2013-02-19 11:58:36 · 2799 阅读 · 0 评论 -
HBase 学习笔记三---守护进程及内存调优
1、HMaster HMaster的任务前面已经说过了,两个大方向:一、管理Hbase Table的 DDL操作 二、region的分配工作,任务不是很艰巨,但是如果采用默认自动split region的方式, HMaster会稍微忙一些,负载不大,可适度对此进程做适量放大heap 的操作,但不可太大,因为更耗内存的是HRegionServer 2、HRe原创 2013-10-10 16:24:54 · 14494 阅读 · 2 评论