bluekeyv的专栏

      今天配置hbase的时候发现有几台机器的regionserver启不来。报错如下：        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)        at sun.reflect.Del

因为一直在做hbase的应用层面的开发，所以体会的比较深的一点是hbase的表结构设计会对系统的性能以及开销上造成很大的区别，本篇文章先按照hbase表中的rowkey、columnfamily、column、timestamp几个方面进行一些分析。最后结合分析如何设计一种适合应用的高效表结构。      1、表的属性      (1)最大版本数：通常是3，如果对于更新比较频繁的应用完全可

HBase 0.94 版本最近发布了，距上次的0.92 版本发布又四个月了，下面我们就来看一下这个版本中丰富的功能增强。性能相关读缓存改进: HDFS 将图片和checksum存储在不同的block中的，所以每次我们进行读操作，都需要进行两次磁盘操作（一次读数据文件，一次读checksum所在的文件）。在HBASE-5074 这个提案中，提出了将checksum存到block 缓存

一、硬件因素Ø 内存Hbase对内存有特别的嗜好，因为内存越大，regionserver接受客户端传递来的数据时可以在内存中做缓存（memstore）以及排序，分配给region等操作的限度更大，相当于利用内存作为缓冲池，组织好hbase需要的数据之后再统一写的顺序写硬盘。*推荐32GB内存Ø CPUCPU参与边界计算以及数据排序等操作，当内存非常大时，CPU对内存中数据的组织

hbase的底层存储采用的是hfile文件格式，可以作为mr的输入，进行hfile的mr。代码如下：import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;

HBase 0.92版本之后，Region Server的Compact过程根据待合并的文件大小分为small compaction和large compaction两种，由此可能导致在集群写入量大的时候Compact占用过多的网络出口带宽。本文将详细描述集群使用过程中遇到这一问题的排查过程及其解决方法。1. 发现问题HBase集群（版本为0.94.0）运行过程中，发现5台Regi

HBase集群在读写过程中，可能由于Region Split或Region Blance等导致Region的短暂下线，此时客户端与HBase集群进行RPC操作时会抛出NotServingRegionException异常，从而导致读写操作失败。这里根据实际项目经验，详细描述这一问题的发现及排查解决过程。1. 发现问题在对HBase集群进行压力测试过程中发现，当实际写入HBase和从

从接触到研究hbase也有1年多的时间了。从之前的了解、安装、使用。到后来的应用开发、性能调优。hbase每次都能带给我不一样的惊喜，无论的并发查询还是数据写入。多维查询还是监控扩展，bulkload扩展。都让我对hbase的能力深信不疑。      今天偶尔上JIRA上查询，发现自己提交的一个bug已经被社区采纳并正式进入0.94.2版本，心中还是好好的激动了一把。淘宝的竹庄已经很轻松的ho

刚刚看了google jeff dean 在新的一年里发表的演讲，讲到各种系统配合使用完成海量数据处理任务。深有感触：http://t.cn/zYE89gn 。2013年，依然会专注hbase研究，并以此为基础扩展，对hbase衍生的一些特性和产品进行深入研究，例如replication、phoenix。从传统的离线计算（hadoop、hive），到实时流式计算系统（storm、s4），创新应用性

今天发现hbase集群的hdfs使用量已经接近80%，检查发现一个表数据量特别巨大，该表会记录用户每天的一次活动属性，按照4亿用户*197天，有800亿条的数据存放在表中——4TB，对于一个表来说过于大了。有两个问题：1、未开启压缩；2、没设置TTL      经过和业务方讨论，只保留最近93天（3个月）的数据，然后开启LZO压缩。      理论上所有的表都应该开启压缩，但是早期使用时没

bulkload的方式导入数据是hbase的一项相当好的数据导入工具，特别适合做为新系统的历史数据导入工具！hbase本身也封装了相关的类importtsv，官网有简单的介绍http://hbase.apache.org/bulk-loads.html。      这里我要说明的是如何去快速定制一些适合自己应用的bulkload。      我们一般需要运行的数据有几种格式，txt的用的最

线上0.90.2集群发现一个诡异现象。regionserver不停的新建空Hlog，导致Hlog数量到达100w之多，测试集群的hdfs承受不了压力，挂掉。对相关表做了disable和enable之后才恢复正常。从现象来看应该是写操作引起的，但是为什么会产生这个现象，还待追查。mark一下

最近在线上往hbase导数据，因为hbase写入能力比较强，没有太在意写的问题。让业务方进行历史数据的导入操作，中间发现一个问题，写入速度太快，并且业务数据集中到其中一个region，这个region无法split掉，处于不可用状态。这里描述一整个过程——        事情的起因：业务方按照userid和商品id作为rowkey前缀，并没有进行hash散列。我当时咨询过业务方，认为：1.

      最近在研究hbase，今天要在公司里对hbase做简要介绍，写了一篇ppt。下面整理一下我的演讲思路       定位：由于这次演讲是针对普通程序员和nosql相关程序员两个群体同时进行，那么需要兼顾演讲的易理解性，以及部分技术深度。       我的思路如下： 1、 基于hdfs，继承了可靠性、高性能、可伸缩性。自己又有特点：列存储，实时读写，是一个数据库。 2、 数据库系统并不是孤立的，有必要介绍一下他在整个hadoop体系中的位置 3、 举例子方便大家理解：mysql-ntfs约

在实际环境中遇到hbase fbck检查报hdfs数据块与META表信息不一致的错误。表现就是数据写入无法进行。      经过检查，发现在.META.表中对应的一些region块的子列少了regioninfo这一列；同时在hdfs的出错region文件夹下查看发现本来该是.regioninfo的文件夹变成了.tmp文件夹。在网上查了些资料，发现是region做分裂的时候失败，导致region

Hbase在逻辑上的存储最小单位是Region，物理上来说事HFile。每个Region由多个HFile组成。那么，是否有一个推荐值，确定每台regionserver上运行多少个region，，每个region的size多大是最合适的呢？      看到《Hbase权威指南》中有一段话写道：      It is noted in the Bigtablepaper that the ai

Compression         LZOor Snappy(20% better than LZO)——Block(default) Serialization         AVROdidn’t work well——deserialization issue         Developedconfigurable serialization mechanism

      最近在接触hadoop的项目，把总结出的配置方法写出来纪念一下，也方便后来人快速玩转hadoop。       首先在虚拟机中安装linux，我是用的redhad，然后装jdk：http://yushan.javaeye.com/blog/261148，接下来是关键部分： 一、hadoop安装：下载release版本hadoop0.20.1，解压到/home/hadoop/ 。 1.命令行下运行 #mkdir input cp conf/*.xml input bin/hadoop

    数据库以行、列的二维表的形式存储数据，但是却以一维字符串的方式存储，例如下表： EmpId Lastname Firstname Salary 1         Smith          Joe         40000 2          Jones        Mary       50000 3        Johnson      Cathy      44000 这个表存储在电脑的内存和硬盘中。数据库必须把这个二维表存储在一系列的一维“字节”中，又操作系统写到内存或

网址: http://www.penglixun.com/tech/database/column-oriented_dbms_analyse.html 这些天看数据仓库的内容，发现一个新内容——列式存储。曾经有想过把数据库行列转置作成索引，不过没有深想，没想到列式数据库已经开始发展起来了。 首先看下WIKI上对列式数据库的解释： 列式数据库是以列相关存储架构进行数据存储的数据库，主要适合与批量数据处理和即席查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合与小批量

      最近在研究hbase，查询效率确实不错，不过入库效率不理想，今天周五就小结以下。       hbase使用java 的api入库很简单：       Configuration conf = HBaseConfiguration.create();       HTable table = new HTable();       Put p = new Put("表名");       p.add(("族列名").getBytes(), "字段名".getBytes(),"值".ge

介绍了传统关系数据库和现在的nosql的一些对比，解释了互联网业界为什么会有rmdb-》nosql的思路转变

HTable：这个是table对象，通过他来完成对hbase表的各种操作，删除，更新，创建，查询 RowFilter：对rowkey过滤查询的类 QualifierFilter：对子列做过滤查询的类 FilterList：复合filter的实现类 Get：rowkey定位器 Scan：查询扫描器 ResultScanner：查询结果扫描器 Result：单个查询结果 KeyValue：查询结果中的keyvalue原子项 //场景一，通过rowkey，列族，子列直接定位value

今天是我生日，在博客里放送出２份非常实用的文档。ｈａｄｏｏｐ、ｈｂａｓｅ批量安装和ｇａｎｇｌｉａ安装配置详解。首先第一篇。 ｈａｄｏｏｐ批量安装前先将ｎａｍｅｎｏｄｅ，Ｈｍａｓｔｅｒ机器安装完毕。然后准备以下文件 １、hadoop-0.20.2-CDH3B4.tar.gz ２、hbase-0.90.1-CDH3B4.tar.gz ３、hosts ４、profile ５、hbaseconf（这个是ｈｂａｓｅ中的ｃｏｎｆ文件夹的拷贝） ６、hadoopconf（这个是ｈａｄｏｏｐ中ｃｏｎｆ文件夹

<br />      在hbase数据写入和mapreduce同时运行时出现hbase regionserver挂掉的问题，同时hdfs上的文件块出现miss。<br />      目前看来mapreduce和hbase同时运行时出现的一个问题就是内存竞争

1. 预先生成HFile入库 这个地址有详细的说明http://blog.youkuaiyun.com/dajuezhao/archive/2011/04/26/6365053.aspx 2. 通过MapReduce入库 /* MapReduce 读取hdfs上的文件，以HTable.

二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版second

目前系统上线，不断的有新问题，也不断的在总结一些经验，发在这里，做下mark，同时也为hbase使用者提供一些思路吧。1、单条rowkey下虽然能支持百万列，但是建议不要这么做，因为真正一个rowkey下挂了这么多数据时会在两个地方出现问题，一是查询时单行记录数据量过大，cl

最近在写基于hbase的MR程序。总结如下：      1、使用TableMapper来读取表      2、写入表的第一种方式是用TableMapReduceUtil.initTableReducerJob的方法，这里既可以在map阶段输出，也能在reduce阶段输出。区别是Reduce的class设置为null或者实际的reduce 以下是一个表copy的例子： package

hbase入库过程中，除了hbase-site.xml中的一些常见的配置参数，其实很关键的一个环节是hbase-env.sh中的jvm参数配置。之前修改的一个重要参数就是新生代的大小。      在大规模写入数据的试验中，我们分别将每个Regionserver的新生代内存配置为不同大小（总大小为32GB），入库一段时间后，通过jstat命令查看每台机器的三个运行状态，YGC,FGC,GCT,绘

最近重新回到熟悉的hbase领域，感慨还是很多。首先终于又可以沉下心来好好搞技术了，其次看到现在有冲劲有追求的年轻人就像看到原来的自己。大数据需要一代一代人传承下去。最近我们上了region group的patch，将原来在2.0里面才合并的patch 加到了0.98版本中。初始使用的时候挺好，但是也遇到了一点问题——在做表group之间迁移的时候发现master页面上的元数据信息有误。而实际