HBase跨集群迁移调研方案

最新推荐文章于 2023-12-21 16:16:45 发布

原创

最新推荐文章于 2023-12-21 16:16:45 发布 · 261 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了HBase的跨集群迁移方案，包括迁移目的、两种具体方案、操作命令如snapshot和replication的使用，以及优缺点分析，最终确定了最合适的迁移策略。同时，探讨了CDH如何支持整表bulkload操作，为大规模数据迁移提供参考。

HBase跨集群迁移调研方案回顾

迁移目的

HBase跨集群平滑迁移

方案

方案一

双写：replication

历史数据：Snapshot——>exportSnapshot——>clone_snapshot——>copyTable

方案二

双写：replication

历史数据：Snapshot——>exportSnapshot——>bulkload

操作命令

snapshot

#制作snapshot
hbase> snapshot 'myTable', 'myTableSnapshot-122112'
#显示所有snapshot
hbase> list_snapshots
#发送snapshot到其他集群
$ bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot MySnapshot -copy-to hdfs://srv2:8082/hbase -mappers 16 -bandwidth 200
#在目标集群clone snapshot
hbase> clone_snapshot 'myTableSnapshot-122112', 'myNewTestTable'
#在目标机还原snapshot
hbase> disable 'myTable'
hbase> restore_snapshot 'myTableSnapshot-122112'
hbase> enable 'myTable'
#目标集群copy table
$ bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable --starttime=1265875194289 --endtime=1265878794289 --peer.adr=server1,server2,server3:2181:/h