hbase数据备份（导入/导出）

最新推荐文章于 2024-02-03 16:47:52 发布

并背诵全文

最新推荐文章于 2024-02-03 16:47:52 发布

阅读量640

点赞数

文章标签： hbase

本文链接：https://blog.youkuaiyun.com/u010019774/article/details/103627146

版权

HBase的导出工具是一个内置的实用功能，它使数据很容易从hbase表导入HDFS目录下的SequenceFiles文件。它创造了一个map reduce任务，通过一系列HBase API来调用集群，获取指定表格的每一行数据，并且将数据写入指定的HDFS目录中。这个工具对集群来讲是性能密集的，因为它使用了mapreduce和HBase 客户端API。但是它的功能丰富，支持制定版本或日期范围，支持数据的筛选，从而使增量备份可用。
下面是一个导出命令的简单例子：

一、导出数据

1.在hdfs中创建目录

hdfs dfs -mkdir /hbase/data/default/bak

2.导出数据到指定hdfs目录

hbase org.apache.hadoop.hbase.mapreduce.Export vehrecord /hbase/data/default/bak/vehrecord

在这里插入图片描述
3.将hdfs中备份的数据导出到本地目录

hdfs dfs -get /hbase/data/default/bak/vehrecord /soft/bak

二、导入数据

1.将备份数据导入到目标集群的本地目录

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

并背诵全文

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

HBase的数据备份：理解HBase的数据备份策略

AI天才研究院

02-22

190

1. 背景介绍 1.1 HBase简介 HBase是一个分布式、可扩展、支持列存储的大规模数据存储系统，它是Apache Hadoop生态系统中的一个重要组件。HBase基于Google的Bigtable论文设计，提供了高性能、高可靠性、面向列的存储方案，适用于非常庞大的数据集合和实时读写的场景。

一种HBase数据备份及恢复方法

石榴姐yyds

02-26

2997

HBase在大数据处理中地位至关重要，有的公司会将HBase作为原始数据接入层，那么Hbase的数据备份就显得至关重要，那么如何备份呢？这里我们引入Hbase的一个API，hbase org.apache.hadoop.hbase.mapreduce.Export，该API可以实现同一集群间的数据备份。对于实际使用场景中，我们往往还会遇到数据迁移的问题，即数据从一个集群拷贝到另一个集群中，当然数据迁移的方案有很多种，本文所讨论的是对于不同环境，不同IP场景下，数据从一种环境中的集群拷贝到另一环境的集群，两种

1 条评论您还未登录，请先登录后发表或查看评论

HBase 数据导入导出

热门推荐

helloxiaozhe的博客

05-15

2万+

Hbase表数据导入和导出示例场合：由于线上和测试环境是分离的，无法在测试环境访问线上库，所以需要将线上的hbase表导出一部分到测试环境中的hbase表，这就是本文的由来。本文借助hdfs作为中介将线上的hbase数据导出部分到测试hbase表中。闲话少叙，例子就来：1）、创建hbase表emplocalhost:bin a6$ pwd /Users/a6/Applications/hbase-...

hbase_数据备份（导入/导出）

子龙修仙的博客

05-20

1万+

1. Export/Import（导入导出）hdfs常用命令：http://www.cnblogs.com/gaopeng527/p/4314215.html1) 导出通过Export导出数据到目标集群的hdfs，再在目标集群执行import导入数据，Export支持指定开始时间和结束时间，因此可以做增量备份，Export工具参数如下：可见，在导出时可以指定version，starttim...

Hbase数据的导入导出以及优化

qq_41848129的博客

08-19

638

(需要关闭hbase服务) 数据库的备份还原： hadoop distcp \ hdfs://master:9000/hbase \ hdfs://master:9000/hbase_back/backup20180801 还原： hadoop distcp \ hdfs://master:9000/hbase_back/backup201...

hbase 数据导出乱码_通过hbase快照备份恢复数据流程

05-16

如果HBase数据导出出现乱码，可能是因为字符集不一致。可以尝试使用UTF-8字符集进行导出，或者在导入时指定正确的字符集。下面是通过HBase快照备份恢复数据的流程： 1. 创建快照使用以下命令创建HBase表的快照...

Hbase数据备份

qq_32812063的博客

01-22

542

创建表： hbase(main):001:0>create 'member','member_id','address','info' 插入数据： put 'member','xueba','info:age','25' put 'member','xueba','info:birthday','1989-06-19' put 'member','xueba','info:company'...

hbase备份和数据恢复

06-29

hbase备份和数据恢复，hbase与hive的互导，hbase和hdfs互导。

hbase数据导入导出

白开水不加糖

12-05

6101

hbase数据导入将本地文件(test.csv)上传到hdfs的根目录下,然后导入数据到hbase 1.本地写一个文件进行测试，文件名为test.csv,内容如下： 2.将文件上传到Hadoop 3.查看是否上传成功（文件存在，表示成功） 4.进入hbase shell 创建表 hbase-tb1-001,列族为cf 5.执行文件导入（Hadoop用户中执行）格式...

HBase数据备份

binlixia的博客

03-22

1047

在使用hbase时，为了防止数据的丢失，必须对数据进行备份； Hbase数据数据备份按状态来备份的话有两种形式：离线备份和在线备份现在我们采用在线备份中的一种：（1）首先进入$HBASE_HOME目录，比如我们HBASE_HOME目录是/usr/local/hbase 执行命令 cd /usr/local/hbase （2）执行命令 bin/hbase org.

HBase数据的导入导出

鲍礼彬的优快云博客 ~_~

05-28

8284

HBase数据的导入导出 1、导出： hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名导出存放路径其中数据文件位置可为本地文件目录，也可以分布式文件系统hdfs的路径。当其为前者时，直接指定即可，也可以加前缀file:/// 而当其为后者时，必须明确指明hdfs的路径，例如hdfs://192.168.1.20

HBase导入导出方案

chenjadeli的博客

01-25

5143

1. Export/Import A.Export # hbase org.apache.hadoop.hbase.mapreduce.Export <tableName> <input_hdfs_path> hbase org.apache.hadoop.hbase.mapreduce.Export member file:///tmp/member B.Import # hbase org.apache.hadoop.hbase.mapreduce.Import <tab

HBase集群备份方法

weixin_30835933的博客

08-06

226

1.简介　　当HBase数据库中存在非常重要的业务数据的时候为了保护数据的可以对数据进行备份处理。对于HBase来说从备份操作来看可分为离线备份和在线备份。 2. 前准备　　在测试环境上准备有哦两套HBase集群，资源有限原因他们共享一个hdfs集群和zookeeper，通过配置不同node路径和数据路径来区别开。　　　　　　　　　　其中xufeng-1上的集群中没...

HBASE数据本地备份与转移

qq_21482343的博客

04-12

3594

写在前面项目数据原先存储于虚拟机的hadoop集群上，由于机器需要报废处理，数据需要进行转移，特别是hbase中的数据，备份和转移过程相对较为繁琐，特写此文章以记录。查看hbase中的数据信息进入hbase shell查看所有表格 hbase(main):002:0> hbase shell hbase(main):002:0> list TABLE

HBase 数据备份与恢复：保护数据的安全性和可靠性

AI天才研究院

12-29

1028

1.背景介绍 HBase 是一个分布式、可扩展、高性能的列式存储系统，基于 Google 的 Bigtable 设计。它是 Apache 软件基金会的一个项目，可以存储海量数据并提供低延迟的读写访问。HBase 通常用于存储大规模的结构化数据，如日志、传感器数据、Web 访问记录等。在 HBase 中，数据是以表的形式存储的，表由一组列族组成，每个列族包含一组列。HBase 提供了一种自动分...

Hbase批量数据导入与导出

m0_73509128的博客

11-19

1580

1、上传文件夹到hdfs上2、Hbase批量csv数据导入hour1。

深入解析HBase数据备份与恢复技术

### HBase备份和数据恢复知识点 #### 1. HBase数据备份与恢复概述 HBase是Hadoop的一个子项目，主要用于存储非结构化和半结构化的稀疏数据。由于数据存储量巨大且易于水平扩展，数据备份和恢复对于确保数据安全和...