使用hbase-backup备份你的hbase数据库

最新推荐文章于 2024-07-19 22:28:09 发布
原创 最新推荐文章于 2024-07-19 22:28:09 发布 · 6.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #数据库 #工具 #table #ant

本文介绍了使用HBase自带工具及第三方工具hbase-backup进行HBase数据备份的方法。通过对比distcp工具, hbase-backup提供了更稳定、更灵活的数据导入导出方案,适用于表格整合及版本升级等场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hbase的备份通常使用distcp进行批量拷贝，在我的尝试中经常出现各种问题，甚至table lost，貌似对s3的支持有点混乱。

 

hbase-backup工具提供了非常灵活的hbase数据导入/导出方式：

 

 http://issues.apache.org/jira/browse/HBASE-897

 

下载完0.19版本的hbase-backup后即可使用ant进行编译。使用挺方便。

 

导出：

bin/hadoop com.mahalo.hadoop.hbase.Exporter -output backup -table text -columns text_flags: text_data:

 

导入：

bin/hadoop com.mahalo.hadoop.hbase.Importer backup/backup.tsv text

 

该工具可以用于不同表格之间的整合以及数据库版本升级等。

【Hbase】hbase的高可用（4）
hx1156477702的博客
10-02 824
hbase高可用搭建和故障测试
大数据数据库之HBase：集群安装部署
qq_34577182的博客
03-30 906
文章目录前言1. HBase集群安装部署1.1 准备安装包1.2 修改HBase配置文件1.2.1 hbase-env.sh1.2.2 hbase-site.xml1.2.3 regionservers1.2.4 back-masters1.3 分发安装包1.4 创建软连接1.5 添加HBase环境变量1.6 HBase的启动与停止1.7 访问WEB页面1.8 停止HBase集群总结 前言 Hive的学习告一段落，接下来开始了解大数据主流NoSql数据库HBase，本文主要讲解HBase集群的安装部署，为
HBase数据backup与恢复
AI天才研究院
01-21 1095
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等其他组件集成。HBase具有高可靠性、高性能和高可扩展性等特点，适用于大规模数据存储和处理。 数据备份和恢复是HBase系统的关键功能之一，能够保护数据的完整性和可用性。在HBas...
HBase集群备份方法
weixin_30835933的博客
08-06 234
1.简介 　　当HBase数据库中存在非常重要的业务数据的时候为了保护数据的可以对数据进行备份处理。对于HBase来说从备份操作来看可分为离线备份和在线备份。 2. 前准备 　　在测试环境上准备有哦两套HBase集群，资源有限原因他们共享一个hdfs集群和zookeeper，通过配置不同node路径和数据路径来区别开。 　　　　 　　　　 　　其中xufeng-1上的集群中没...
hbase-backup master
莱布尼兹
08-28 363
  as some distribute systems ,a spare/second master is always supplied to guarantee high availablity.   like hbase,u can run some backup masters against with master,when the real master is failure,...
HBase与数据 backup 与 restore
AI天才研究院
01-18 839
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了一种高效的数据存储和查询方法，适用于大规模数据处理和分析。在大数据应用中，数据 backup 和 restore 是非常重要的操作，可以保证数据的安全性和可靠性。本文将详细介绍 HBase 与数据 backup 与 restore 的相关概念、算法原理、操作步骤和代码实例。...
大数据技术--实验03-HBase的安装与使用【实测可行】
最新发布
u013571432的博客
07-19 1890
在HBase的官网http://mirrors.cnnic.cn/apache/hbase/ 下载HBase，其文件为：hbase-1.0.1.1 -bin.tar.gz。在master机器进行配置即可，然后可以通过把配置文件拷贝的方式，下载到slave1和slave2，这样可以减少工作量。虚拟机配置好后，配置Hbase参考下表的服务分配来配置HBase。修改hbase-env.sh文件，添加JDK的配置。用户，保持用户权限的一致性，避免出现不必要的错误）。情况］―――――――――――――――。
HBase2.2.7从源码编译到高可用部署 整合整合Phoenix5.1.0 二级索引 整合hive3.1.2
weixin_52918377的博客
05-31 911
HBase源码编译与安装配置 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。 高可靠/高性能/面向列/可伸缩的分布式文件存储系统。 Hbase源码编译 1.环境配置 jdk，maven安装配置 2.下载 下载地址： https://hbase.apache.org/downloads.html 3.上传解压 将下载的源码包上传到/opt/src目录下并解压 [root@localhost src]#tar -zxvf hbase-2.2.7-src.tar.gz 4.选择hado
Spark大数据分与实践笔记（第五章 HBase分布式数据库-01）
Lydia868的专栏
08-23 713
HBase起源于2006年Google发表的BigTable论文。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，利用HBase可在廉价PC服务器上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBase分布式数据库具有如下的显著特点:●容量大HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。●面向列HBase是面向列的存储和权限控制，并支持独立检索。
HBase-1.2.4分布式集群搭建
Fang的博客
11-21 3866
HBase-1.2.4分布式集群搭建过程HBase-124分布式集群搭建过程 安装步骤官网下载安装包 修改hbase-envsh 修改hbase-配置文件hbase-sitexml 修改hbase conf目录下 regionservers配置文件 在hbase conf下创建文件backup-masters 配置备份master 将安装配置好的hbase目录复制到集群中的每个节点中 在集群的每个节
Hbase表两种数据备份方法-导入和导出示例
热门推荐
helloxiaozhe的博客
05-15 2万+
Hbase表数据导入和导出示例场合：由于线上和测试环境是分离的，无法在测试环境访问线上库，所以需要将线上的hbase表导出一部分到测试环境中的hbase表，这就是本文的由来。本文借助hdfs作为中介将线上的hbase数据导出部分到测试hbase表中。闲话少叙，例子就来：1）、创建hbase表emplocalhost:bin a6$ pwd /Users/a6/Applications/hbase-...
HBase数据备份/容灾
qq_35542970的博客
06-10 815
HBase的数据备份方式有很多种，Distcp，CopyTable，Export/Import，backup/restore和Replication等。这里主要介绍backup/restore和Replication两种方式。 backup/restore功能是对 HBase Replication 功能的补充。HBase replication适合创建数据的“热”副本（复制数据可立即用于查询，实时备份）；backup/restore功能适合创建“冷”数据副本（必须采取手动步骤）恢复系统，定时备份）...
Hbase学习7_hbase增加backup master
wang_zhenwei的博客
02-20 1767
为了增加hbase集群的可用性，可以为hbase增加多个backup master。当master挂掉后，backup master可以自动接管整个hbase的集群。 配置backup master的方式是在hbase的conf下增加文件backup-masters，在该文件里面增加backup master的机器列表，每台机器一条记录。 如： backup-masters
Hbase备份（HBase Backup）的几种方法
主要写大数据集群一线运维和学习工作经验
10-17 2570
执行HBase备份有两种主要的策略：关闭集群进行备份，以及在活动的集群上进行备份。 关闭集群备份 这样做的好处是，NameNode/Master 是地区级服务器，因此不会丢失对存储文件或元数据的任何动态更改。明显的缺点是集群宕机。步骤包括： Stop HBase Distcp Distcp可以用于将HDFS中的HBase目录的内容复制到另一个目录中的相同集群，也可以复制到另一个集群...
HBase 备份和恢复
Lawrence的专栏
08-27 966
hbase备份恢复 hbase本身提供的接口 Usage: Import [options] By default Import will load data directly into HBase. To instead generate HFiles of data to prepare for a bulk data load, pass the option: -Dimpo
HBase备份容灾常用命令
zy353003874的博客
09-09 321
灾难恢复是个令人神经紧张的话题,但必须面对.HBase虽然是一个分布式的数据库，但是有时候容灾以及数据备份仍然是需要考虑的，而掌握常用的命令正是写这篇文章的意义所在。 本文主要通过案例来讲解CopyTable,Import,Export,Snapshot,希望大家对它们的使用有一个直观的认识。 CopyTable 支持时间区间,row区间，改变表名称，改变列族名称，指定是否copy已经被删除的数据等功能 CopyTable工具采用scan查询，写入新表时采用put和delete API,全是基于hbase
HBASE2.x和HADOOP 2.7.X安装配置个人备忘录
wenzhixiang1192的博客
12-29 866
222本文是在hbase和HADOOP下载好后进行配置问题，非HA安装教程如下 hadoop完整安装:Hadoop学习之路（四）Hadoop集群搭建和简单应用 - 扎心了，老铁 - 博客园 hbase2.x安装参考:HBase学习之路 （二）HBase集群安装 - 扎心了，老铁 - 博客园 HADOOP 2.7.X版本配置信息 ，配置路径：HADOOP_HOME/etc/hadoop A.hadoop-env.sh #${JAVA_HOME}如果系统本身设置了JAVA常量，可以这么使用，或直接
Java大数据平台开发 学习笔记（70） —— Hbase 原理（附 Hbase 百度云盘下载地址）
qq_42209354的博客
01-26 1122
简介 2020年12月18日 9:10 一、概述 HBase是Yahoo!开发的后来贡献给了Apache的一套基于Hadoop的、分布式的、可伸缩的非关系型数据库 HBase能够对大量数据进行随机且实时的读写 HBase能够管理非常大的表：billions of rows X millions of columns HBase是Doug Cutting根据谷歌的论文来仿照实现的，因此HBase和Big Table的实现原理一模一样，只是语言不一样 HBase在设计和存储的时候，借鉴了列存储的思想 HBase
Hbase表备份——Snapshot
yingcuicy的专栏
12-12 547
-- 内存数据刷盘 flush'paycore.pay_test' --禁用表 disable'paycore.pay_test' -- 备份快照 snapshot'paycore.pay_test', 'pay_testSnapshot' --复制快照 clone_snapshot'pay_testSnapshot', 'paycore.pay_test_bak'
HBase数据库详解：从基础到实践
"深入理解HBase数据库的基础架构和操作方法，包括关键组件如HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HLog、HFile以及KeyValue的介绍，以及配置冗余Master的方法和HBase的数据导入与表创建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值