【转】hbase导入工具Import介绍

最新推荐文章于 2025-09-29 17:34:03 发布
原创 最新推荐文章于 2025-09-29 17:34:03 发布 · 245 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #HBase

本文介绍如何使用HBase的Import工具将之前导出的数据文件重新导入到新的表中。通过具体的命令演示了从导出文件到指定表的数据导入过程，并验证了数据的完整性。

博客地址：http://www.oratea.net

hbase-0.94.0有效，HBase权威指南上的介绍过时。

 

通过Import可以将Export的文件重新导回表中。

语法为：
$ bin/hbase org.apache.hadoop.hbase.mapreduce.Import

下面我们将上次导出的表sunwg01的文件导入到表sunwg03中

导入命令为：
hbase org.apache.hadoop.hbase.mapreduce.Import sunwg03 /test/sunwg01

查看表sunwg03的数据，已经完全导入了
hbase(main):012:0> scan ‘sunwg03′
ROW COLUMN+CELL
r1 column=f1:k1, timestamp=1332849843554, value=100
r2 column=f1:k1, timestamp=1332853651327, value=200
r3 column=f1:k1, timestamp=1332853655990, value=300
r4 column=f1:k1, timestamp=1332853661049, value=400
4 row(s) in 0.0420 seconds

【Hbase】HBase数据快速导入之ImportTsv
九师兄
08-21 2269
1。在前面的博客中使用程序导入数据，但是当数据量太大了，会非常的慢，因为他是一行一行读取的，然后put上去的，我尝试put2亿条数据结果用了一天2。现在要用改进板的，使用hbase自带的工具ImportTsv ImportTsv是Hbase提供的一个命令行工具，可以将存储在HDFS上的自定义分隔符（默认\t）的数据文件，通过一条命令方便的导入到HBase表中，对于大数据量导入非常实用，其中包含两种
HBase 数据导入 批量导入 BulkLoad ImportTsv HFile格式
是个好男人的博客
09-20 1240
网址：https://www.jianshu.com/p/2b4390310345 1.BulkLoad介绍 BulkLoad是HBase将海量数据写入到集群的一种方式。运行一个Mapreduce作业，使用HFileOutputFormat输出HBase数据文件，使得输出的HFile文件可以适应单个region，使用TotalOrderPartitioner类将map输出结果分区到各个不同的key区间中，每个key区间都对应着HBase表的region。之后使用completebulkload工具将..
hbase import & export
stark_summer的专栏
10-12 1万+
对于两个hadoop集群（生产环境和测试环境），想讲两个hbase表同步或者迁移，更保守的方式使用hbase自带的import & exportexport 语法为： bin/hbase org.apache.hadoop.hbase.mapreduce.Export ERROR: Wrong number of arguments: 0 Usage: Export [-D <property=va
hbase的export与import工具
蓝色时分
09-01 523
hbase提供了导出表的方案，将指定的表导出到HDFS或本地，这样方便了备份或数据转移。 最快的方式是通过mapreduce来完成这件事，需要在hbase的conf中添加mapred-site.xml： [code="java"] mapred.job.tracker 192.168.0.1:9001 hadoop.tmp.dir /tmp/ha...
HBase全量+增量迁移import/export方式
最新发布
前方的路在刚开始
09-29 291
本文是用自带的hbase import/export方法，由于原端不开放hdfs数据，并且因为底层存储不能打快照，目标端也不开放，所以只能通过这种方式。（这种方式比较耗性能）建议从主库，搞一个备份库，再用这种导出备份库的数据。
HBASE-1.2.4批量导入_ImportTsv
大杂烩
01-06 2254
1、先把log.txt上传至hdsf。 2、在hbase中定义好表T_SYS_LOG。 3、bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' T_SYS_LOG /tmp/log.txt
HBase ImportTSV工具使用
赵广陆
12-15 2844
目录1 ImportTSV功能描述2 直接导入Put方式3 转换为HFile文件，再加载至表 1 ImportTSV功能描述 将tsv（也可以是csv，每行数据中各个字段使用分隔符分割）格式文本数据，加载到HBase表中。 1）、采用Put方式加载导入 2）、采用BulkLoad方式批量加载导入 使用如下命令，查看HBase官方自带工具类使用说明： HADOOP_HOME=/export/servers/hadoop HBASE_HOME=/export/servers/hbase HADOOP_CLAS
HBase数据导入的几种操作
吃果冻不吐果冻皮
07-06 1万+
数据导入有如下几种方式： 1．利用HBase提供的ImportTsv将csv文件导入到HBase 2．利用HBase提供的completebulkload将数据导入到HBase 3．利用HBase提供的Import将数据导入到HBase利用ImportTsv将csv文件导入到HBase命令：格式：hbase [类] [分隔符] [行键，列族] [表] [导入文件] bin/hbase org
hbase 导入到es_HBase 2.0 协处理器实现 ES 数据同步
weixin_27603469的博客
12-31 698
标签：hbase 2.0、elasticsearch、Coprocessor、协处理器在正式进行讲述实现之前，我觉得有必要说一下出发点。团队期初数据都是基于 HBase+Phoenix 这样架构进行持久化。随着业务的复杂性增加，对部分表的查询效率和查询条件多样性，提出了更高的要求。HBase+Phoenix 就会出现索引滥用。变更索引变的特别的频繁，同时一些数据客观的表，变更索引的代价是非常大的。...
导入本地数据到 HBase和导入hdfs数据到hbase
个人博客地址为http://elikhb.top/
04-24 1196
## 导入本地数据到 HBase和导入hdfs数据到hbase
HBase常用工具
on the way . . .
09-01 2540
Background hbase集群是基于CDH搭建的，版本2.1.0+cdh6.2.0 1、HBCK hbck是HBase最基本运维工具。 作用：检查集群上region的一致性。根据检查结果使用相应的命令进行修复。 注意：部分命令在HBase version 2.0+已经不支持了。 使用示例： # 查看表cloudansys:gps的region状态 hbase hbck 'cloudansys:gps' 2、HFile 作用：检查当前某个具体的HFile的内容/元数据。当业务上发现某个re
HBase ImportTsv导入数据
世界那么大，我想去看看！
08-10 7115
一、HBase介绍HBase是Apache Hadoop中的一个子项目，依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的命令就可以看到HBase数据存储文件夹的目录结构,还可以通过Map/Reduce对HBase进行操作。HBase是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式。HBase是介于Map Entry(ke
Hbase备份（HBase Backup）之 Hbase Export、Hbase Import
主要写大数据集群一线运维和学习工作经验
10-17 2608
目录 Export mapreduce-based Export endpoint-based Export 对照表 Import export 方法将表的内容转储到同一集群上的HDFS。要恢复数据，将使用 import 。 Export 将表数据以 sequence file 的格式转存到 HDFS，通过运行Coprocessor Endpoint 或MapReduce。 ...
hbase的 export以及import工具使用示例 + 时间区间+ key前缀
mtj66的博客，交流WX:SpringBreeze1104
10-06 1万+
1.hbase中的数据hbase(main):025:0&gt; scan 'users'ROW                                COLUMN+CELL                                                                                       TheRealMT             ...
Hbase表export和import
crj2951的博客
09-14 594
1、查看要做测试的表test hbase(main):002:0> scan 'test' ROW COLU...
HBase ImportTSV
大数据流浪法师的学习笔记与分享
06-01 2127
TSV文件与CSV文件的区别 TSV是Tab-separatedvalues的缩写,即制表符分隔值。 相对来说CSV,Comma-separatedvalues(逗号分隔值)更常见一些。 ImportTSV功能描述： ImportTSV可以将tsv（也可以是csv，每行数据中各个字段使用分隔符分割）格式文本数据，加载到HBase表中。 采用Put方式加载导入 采用BulkLoad方式批量加载导入 ImportTSV这个功能藏在HBase自带的工具类jar包里。 使用如下命令，查看HBase官方自带工具类
Hbase JAVA import包报错
greatcoder的博客
03-27 847
hbase 编程中，import 包报错的解决方案
往HBase导入数据的几种操作
热门推荐
象在舞的技术专栏
11-20 1万+
HBase作为Hadoop DataBase，除了使用put进行数据导入之外，还有以下几种导入数据的方式： （1）使用importTsv功能将csv文件导入HBase； （2）使用import功能，将数据导入HBase； （3）使用BulkLoad功能将数据导入HBase。 接下来，小编将对这三种方法分别进行介绍~ 一、使用importTsv功能将csv文件导入HBase ...
HBase批量导入实用指南及其重要性
这个过程涉及到一些关键的HBase Shell命令，比如`import`命令用于导入数据，`alter`命令用于将表置于加载模式。 ### 2. Bulk Loading 的优势： #### a. 减少数据加载时间： Bulk Loading能够大幅度减少数据加载所...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值