hbase_数据备份(导入/导出)

本文详细介绍了如何使用HBase的Export和Import工具进行数据备份和恢复,包括增量备份的方法,以及在大数据量导出时遇到的内存限制问题及其解决方案。在导出时,可以通过指定时间范围实现增量备份,而导入时可以使用bulk加载提高效率。在遇到YARN内存限制问题时,调整mapred-site.xml配置可解决问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. Export/Import(导入导出)

hdfs常用命令:

http://www.cnblogs.com/gaopeng527/p/4314215.html

1) 导出

    通过Export导出数据到目标集群的hdfs,再在目标集群执行import导入数据,Export支持指定开始时间和结束时间,因此可以做增量备份,Export工具参数如下:

可见,在导出时可以指定versionstarttimeendtime等参数,并且可以通过-D指定是否压缩,指定caching等属性

// hbase org.apache.hadoop.hbase.mapreduce.Export test4 hdfs://t2-namenode:9000/test4_90 1

1415693812520 1415694912520

// hbase org.apache.hadoop.hbase.mapreduce.Export 表名  数据文件位置 版本 开始时间 结束时间

Export导出工具与CopyTable一样是依赖hbasescan读取数据,并且采用的InportFormatCopyTable一样是TableInputFormat类,从该类的getSplits()方法可以看出MRmap数与hbase表的region数相同。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值