集群数据迁移

本文介绍了HBase数据迁移的不同方案,包括静态迁移如使用hadoop distcp,动态迁移方案如Replication备份、CopyTable和exportandimport等方法,并详细解释了每种方案的操作步骤和注意事项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

静态迁移方案(必须在hbase集群停掉的情况下进行)
hadoop distcp

动态迁移方案
三种:
Replication备份方案
修改hbase-site.xml配置,增加hbase.replication属性,增加表属性REPLICATION_SCOPE属性
add_peer

CopyTable方案
命令:./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster  ip:2181:/hbase
注意:
拷贝完成不需要重启机器,就能在新集群中看到该表
稳定性还有待考虑

export and import 方案
在老集群上执行./hbase org.apache.hadoop.hbase.mapreduce.export test hdfs://old cluster ip:9000/xxx
在新集群上执行./hbase org.apache.hadoop.hbase.mapreduce.import test hers://new cluster ip:9000/xxx
注意:一定要写全路径,不能写想对路径
在import前,一定要在新集群中建好表

手动方式
从源hbase集群中复制出hbase数据表到本地目录  hadoop fs -get
目标hbase导入  hadoop fs -put
修复.META.表    hbase hbck -fixMeta
重新分配数据到各regionserver   hbase hbck -fixAssignments
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值