hbase0.94版本数据迁移到1.x版本

本文详细介绍了从HBase 0.9.4版本迁移到阿里云EMR HBase 1.1版本的具体步骤,解决版本差异带来的数据兼容问题,通过导出hfile文件并利用bulkload操作实现高效数据迁移。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

因公司的hbase0.9.4迁移到云平台,但阿里云的emr的hbase是1.1版本,存在问题:hbase的版本间变化大,采用export/import方法时存在snappy支持问题,元信息错误等问题。

想到hbase有bulkload方式入库,查看了一下,hbase的hfile 文件在两版本间变化不大,在0.92版本就已经升级到hfile V2,故想到使用把旧版本hfile文件放到云hdfs上,使用一次bulkload加载到新表中完成数据迁移。具体步骤如下:

1、从旧hdfs取hfile,hadoop fs -get /hbase/adt_channel_compaign/ .

2、把文件传到新hdfs,tar -c 55b2c9c122638b57b6e7dc40755569e4 |lz4 | ssh -p22 hadoop@xx.xx.xx.xx "cd /data0/tmp; lz4 -d | tar x"  , 然后 put 到hdfs

3、把表格创建好,执行buldload操作,如

export HADOOP_CLASSPATH=/usr/lib/hbase-current/lib/*:$HADOOP_CLASSPATH
export CALSSPATH=/usr/lib/hbase-current/lib:CALSSPATH

hadoop jar /usr/lib/hbase-current/lib/hbase-server-1.1.1.jar completebulkload  /data/hfile/path table_name

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值