厚积而薄发

偶然一次停电，导致机房机器重启，于是很多机器静态IP冲突失效。好不容易把网络调整好，Hbase集群却无法正常启动，Hadoop却可以正常使用。大致情况如下：正常启动Hadoop和zookeeper，然后启动Hbase，jps查看一切正常。当打开web页面（60010）查看的时候却出现500错误，错误大致如下：HTTP ERROR: 500Trying to

前几天用到flume的日志收集，基于公司的业务对flume本身自带的hbase插件做了些改造，测试的时候却出现了丢数据和多数据的问题……1.首先查看collector的event数，是与原数据量相符的。所以在agent与collector的交互过程是没有问题的2.查看开发插件业务处理过程，看了好几遍感觉也没问题。3.于是问题只有可能出现在hbase的数据处理上了。本来是基于flume自

随着数据量的增大，HIVE查询HBase的时候又出现了scan数据缓慢的问题，上次是因为跨网段读数据没有设置client端cache，这次是在HBase regionserver的log中出现了如下错误: org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8841369309248784313' does not ex

Speculative Task（推测式任务）是mapreduce框架中一个比较重要的优化策略。当某个server某个时间段处于忙碌状态而无法快速完成某个task（当然也可能是server本身性能低下），从而拖延了整个job的完成进度，此时若启用Speculative Task策略，jobtacker会为执行慢的task启动speculative task，多个相同的任务同时运行，哪个task

因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer

启动HBase的时候，无法启动RegionServer，查看日志，错误如下2012-06-13 09:33:40,057 FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: Master rejected startup because clock is out of syncorg.apache.hadoop.hbase.Cl

hbase性能测试，加载了一个晚上的数据，早上来时发现一个节点挂掉了，其他一切正常。查看日志，发下如下问题12/01/04 09:45:39 FATAL regionserver.HRegionServer: ABORTING region server serverName=hadoop5.site,60020,1325663355680, load=(requests=983, reg

之前集群的配置为hadoop-0.20.3，hbase-0.90.4，zookeeper-3.3.4,hive-0.8.1。hadoop还算稳定，基本没什么bug，而hive基于hbse查询时真是问题百出，hbase各种bug，比如丢数据，丢表，regionserver频繁宕机，各种打补丁，改错误搞得我脑袋都要爆了。于是决定给hbase来一个彻底的升级替换。一.   先是把hbase升级为

HBase     官方文档中文版0.97.0Copyright © 2012 Apache Software Foundation。保留所有权利。 Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 HBase项目 logo 是Apache Software Foundation的商标。

HBase 官方文档0.90.4Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译)Revision HistoryRevision 0.90.4配置，数据模型使用入门Abstract这是 Apache HBase的官方文档, Hbas

环境描述Hadoop 0.20.203.0Hbase 0.90.3Hive 0.80.1 问题描述     前几天，在HIVE执行SQL查询的时候出现了一个很奇怪的问题：就是每个SQL（涉及到MapReduce的SQL任务）在执行到某个百分比的时候，整个JOB会出现假死的情况。 2012-04-28 18:22:33,661 Stage-1 map = 0%

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考Hbase性能调优1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才

转自：http://blog.sina.com.cn/s/blog_747216760100yeao.html一、脚本 start-hbase.sh,hbase-daemon.sh,hbase-daemons.sh,zookeepers.sh,regionservers.sh,hbase,hbase-config.sh1.1 hbase：hbase命令行入口,最终控制mas

转自：http://blog.sina.com.cn/s/blog_747216760100ydav.html二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary

转自：http://www.searchtb.com/2011/01/understanding-hbase.html HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似G

转自：http://www.spnguru.com/2011/07/678/  构建和运维HBase集群是一个非常有挑战性的工作。HBase凭借其在海量数据的良好的扩展性和高效的读写能力，受到越来越多公司的重视。在公司里，HBase越来越受欢迎。希望通过HBase读写数据的产品越来越多，在兴奋之余，头疼的问题也来了。毕竟，作为线上的产品，我们不希望过多人随意的访问，会照成很

Hadoop&Hbase 备份方案--NFS需求： 实现namenode元数据的备份，解决namenode单点宕机导致集群不可用的问题。方案描述：当namenode所在服务器宕机的时候，我们可以利用namenode备份的元数据迅速重构新的namenode来投入使用。1.  Hadoop本身提供了可利用secondarynamenode的备份数据来恢复nameno

DRBD介绍  以下是关于DRBD的介绍，关于DRBD的部署请参考http://blog.youkuaiyun.com/rzhzhz/article/details/71071151. 介绍      DRBD (Distributed Replicated Block Device) 是 Linux 平台上的分散式储存系统。其中包含了核心模组，数个使用者空间管理程式及 she

Pacemaker介绍 以下是关于Pacemaker的介绍，关于Pacemaker的部署请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7110188 1. 简介 Pacemaker是一个集群资源管理者。他用资源级别的监测和恢复来保证集群服务(aka.资源)的最大可用性。它可以用你所擅长的基础组件(Corosync或者是Hear

Hadoop&Hbase 双机热备--Pacemaker&DRBD部署  相关文章 DRBD的介绍请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7103772 DRBD的部署请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7107115 Pacemaker的介绍请参

Hadoop&Hbase 备份方案--Pacemaker&DRBD需求实现namenode的双机热备，保证Hadoop&Hbase的高可用性（HA）。方案描述当主namenode所在服务器宕机的时候，其服务和数据可迅速，完整，无缝的迁移到备份namenode从而保证hadoop集群的高可用性，持续的向外提供服务。测试环境虚拟机

Pacemaker部署 以下是关于Pacemaker的部署，关于Pacemaker的介绍请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7104135   部署环境虚拟机2台（1G内存，40G硬盘，ubuntu操作系统）hadoop2-virtual-machine1   10.10.11.252 hadoop3-v

DRBD部署以下是关于DRBD的部署，关于DRBD的介绍请参考http://blog.youkuaiyun.com/rzhzhz/article/details/7103772部署环境虚拟机2台（1G内存，40G硬盘，ubuntu操作系统）primary节点：   hadoop2-virtual-machine1   10.10.11.252 secondary

本文转自：http://www.spnguru.com/2010/07/hbase%e4%b8%ad%e7%9a%84client%e5%a6%82%e4%bd%95%e8%b7%af%e7%94%b1%e5%88%b0%e6%ad%a3%e7%a1%ae%e7%9a%84regionserver/  在HBase中，大部分的操作都是在RegionServer完成的，Client端想要

这里只准备介绍我实际操作中遇到的一些使用优化或解决办法，想大致了解hbase优化的同学可以参考我之前转載的几篇博文。1.第一个我想说的是HBase的写操作，api层面上的优化（比如批量写，关闭wal之类的）我这里就不啰嗦了，我想要说的是rowKey的设计，这个问题一般会跟io的大小息息相关，io越大，rowKey的设计就必须更谨慎，避免出现数据热点，往往一个不好的设计会导致某些regionse