Adolph的专栏

目的:从10.102.2.246上把Hbase里面数据备份到10.101.159.62的Hbase里面，并且这两台机器之间无法通信，因此采用最笨的办法解决问题。步骤：1、从246上把Hbase里面数据先拷贝到该节点的一个目录，拷贝到/oracle/hpdata/hbase-data.bak。我们知道由于配置文件hbase-site.xml里面写的hbase数据存放地方是hdfs://l

相信长时间运维HBase集群的童鞋肯定都会对RIT（Region-In-Transition，很多参考资料误解为Region-In-Transaction，需要注意）有一种咬牙切齿的痛恨感，一旦Region处于长时间的RIT就会有些不知所措，至少以前的我就是这样过来的。正所谓“恐惧来源于未知”，不知所措意味着我们对RIT知之甚少，然而“凡事都有因果，万事皆有源头”，处于RIT状态的Regi...

自动splitting当一个region达到一定的大小，他会自动split称两个region。如果我们的Hbase版本是0.94 ，那么默认的有三种自动split的策略，ConstantSizeRegionSplitPolicy,IncreasingToUpperBoundRegionSplitPolicy还有KeyPrefixRegionSplitPolicy.在0.94版本之前Con...

一、[plain] view plain copyecho "scan 'ns_monitor:t_monitor_io',{LIMIT=>1}" | hbase shell    echo "scan 'ns_monitor:t_monitor_io',{FILTER=>\"PrefixFilter('2001-01-01|192.168.16.123|io_r_s')\"}" | ...

snapshot（快照）基础原理snapshot是很多存储系统和数据库系统都支持的功能。一个snapshot是一个全部文件系统、或者某个目录在某一时刻的镜像。实现数据文件镜像最简单粗暴的方式是加锁拷贝（之所以需要加锁，是因为镜像得到的数据必须是某一时刻完全一致的数据），拷贝的这段时间不允许对原数据进行任何形式的更新删除，仅提供只读操作，拷贝完成之后再释放锁。这种方式涉及数据的实际拷贝，数据量大的情

Hbase几大Filters1、Comparision Filters 比较过滤器1.1 RowFilter (过滤row，例如RowFilter(CompareOp.LESS_OR_EQUAL, new BinaryComparator(Bytes.toBytes("pbrry")))，返回按字母排序在pbrry之前的那些row的内容)1.2 FamilyFilter

hbase org.apache.hadoop.hbase.mapreduce.CopyTable [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.adr=ADR] tablename一：本地hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=ne

创建表create 'test1', 'lf', 'sf'lf: column family of LONG values (binary value)-- sf: column family of STRING values导入数据put 'test1', 'user1|ts1', 'sf:c1', 'sku1'put 'test1', 'user1|ts2

一、0.94-cdh4.2.1版本系统级别的一级目录如下，用户自定义的均在这个/hbase 下的一级子目录下/hbase/-ROOT-/hbase/.META./hbase/.archive/hbase/.corrupt/hbase/.hbck/hbase/.logs/hbase/.oldlogs/hbase/.snapsho

方法一：第一步：hbase org.apache.hadoop.hbase.util.RegionSplitter 表名 HexStringSplit -c rengion个数 -f 列族注意：这一步是在linux命令中，不是在hbase shell中第二步：修改表，制定压缩格式等参数alter 'gy.cntr_items',{NAME => 'ci',BLOOMFILTER =

1、基本命令：      建表：  create 'hbase_t_m_user_personalmodel_recommend','modelinfo','recommendlist','baseinfo';      也可以建表时加coulmn Family的属性如：  (其中的属性有versions：设置历史版本数，TTL：过期时间，COMPRESSION：压缩方式，当配

1、介绍在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作，HBase全局管理员可以创建、修改和回收namespace的授权。2、namespaceHBase系统默认定义了两个缺省的namesp

因为hbase中没有rename命令，所以更改表名比较复杂。重命名主要通过hbase的快照功能。1.停止表继续插入 hbase shell>disable 'tableName'2。制作快照hbase shell> snapshot 'tableName', 'tableSnapshot'3.克隆快照为新的名字hbase shell> clone_snaps

HBase bulkLoad时间都花在哪？近期工作中使用hbase bulkload向hbase导入2TB数据(10000个hfiles)，我们发现将hfiles加载到hbase 表的过程用了将近一个小时。这和我对bulk load过程的理解不太相符，在我的理解中，hbase bulkload并不会产生数据copy，数据导入通过hdfs的mv操作完成。那么，问题1：是什么操作消耗了一个小...