Hbase导入数据ImportTsv

最新推荐文章于 2024-01-31 14:53:30 发布

最新推荐文章于 2024-01-31 14:53:30 发布 · 224 阅读

文章标签：

#大数据

本文介绍如何使用ImportTsv工具将文本或HDFS中的文本型数据导入HBase。具体包括配置参数、指定列名及分隔符等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：

把文本或者hdfs文本型数据导入到hbase中去

实现：

基于ImportTsv

bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv  
-Dimporttsv.columns=HBASE_ROW_KEY,E:E,E:N  
TABLE 
hdfs://host:ip/yourfile
-Dimporttsv.separator=\t

这个是以mr job的形式导入，详情参见ImportTsv实现

-Dimporttsv.columns 指定列，需要指定HBASE_ROW_KEY

TABLE 为table名称

-Dimporttsv.separator为分隔符，默认为\t

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dataee

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Hbase】HBase数据快速导入之ImportTsv

九师兄

08-21

2242

1。在前面的博客中使用程序导入数据，但是当数据量太大了，会非常的慢，因为他是一行一行读取的，然后put上去的，我尝试put2亿条数据结果用了一天2。现在要用改进板的，使用hbase自带的工具ImportTsv ImportTsv是Hbase提供的一个命令行工具，可以将存储在HDFS上的自定义分隔符（默认\t）的数据文件，通过一条命令方便的导入到HBase表中，对于大数据量导入非常实用，其中包含两种

导入本地数据到 HBase和导入hdfs数据到hbase

个人博客地址为http://elikhb.top/

04-24

1064

## 导入本地数据到 HBase和导入hdfs数据到hbase

参与评论您还未登录，请先登录后发表或查看评论

HBase工具ImportTsv导入数据

lixucpf的专栏

01-13

1823

网上大多数的文章都是使用hadoop端ImportTsv工具导入数据，但会遇到一堆缺少jar包的问题，解决办法就是拷贝hbase边的jar包拷贝到hadoop指定目录下。根据HBase官网介绍，可以选择使用HBase的org.apache.hadoop.hbase.mapreduce.ImportTsv工具。 create 'VEHICLE', 'Message', 'Properties',

HBase导入大数据三大方式之（二）——importtsv +completebulkload 方式

cihongmo6452的博客

02-09

183

做大数据时，经常需要用到将大量格式化的文本数据导入到Hbase中。此处就用到的三种方式：Hive类SQL语句方式、importtsv +completebulkload 方式、mapreduce+completebulkload 方式，做下简单示例。上篇介绍了hive类SQL语句方式，现在介绍...

hbase 读写数据流程----文字简介

weixin_42898914的博客

12-16

290

hbase读取数据流程 0、client发出请求 1、访问zk 2、zookeeper返回-ROOT-表所在的信息，返回的是位置信息 -ROOT-表中存储了.META表的元数据信息 .META表存储了Region的元数据 -ROOT-:只对应一个region，不能切分，通过-ROOT-表可以读取到.META表中的元数据信息 .META:可以存储在多个region中，访问的是存储业务数据的元数据信息...

Hbase 批量数据BulkLoad 导入使用

u013887751的博客

03-04

1317

以下主要介绍BulkLoad导入数据到hbase 中 HBase有多种导入数据的方法，最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出，或者使用标准的客户端API，但是这些都不是非常有效的方法。 Bulkload利用MapReduce作业输出HBase内部数据格式的表数据，然后将生成的StoreFiles直接导入到集群中。与使用HBas

Hbase importtsv.separator指定非显示字符的办法

DDSHANG的专栏

01-04

1649

最近需求用importtsv和completebulkload来从文件导入Hbase数据，但是遇到了一个问题就是importtsv的分隔符只支持单个字符，如果想指定类似于“\t”这样的转义字符是不可能的，当然，TSV默认的分隔符就是TAB，所以这中情况就直接不指定分隔符就可以了。但如果我想指定其他的特殊字符做分隔符要怎么办呢？网上有个人提供了一个办法，就是在调用importtsv的

hbase导入测试数据集

07-03

博客文档链接中提到的内容可能包括使用HBase的命令行接口（HBase Shell）或编程API（如Java API）来导入数据。ORDER_INFO.txt文件很可能是我们需要导入的数据源，它可能包含了订单信息，如订单ID、用户ID、商品ID、...

HBase数据迁移和导入

weixin_41654961的博客

01-31

682

2. 可能报错权限问题，建议使用hbase认证，迁移完成后再改回之前认证用户。注意 :1.如果快照已经存在，根据实际需要判断是否需要重新创建。一、HBase数据夸集群数据迁移（前提是两个CDH集群互信配置好）5.快照恢复完成后，在源集群和目标集群中删除快照。2. 在源CDH环境中执行创建快照命令。3. 开并发，多张表一起导入，省时间。1.源CDH环境准备迁移表单。4. 到目标集群中恢复快照。

[HBase运维]使用importTSV导入tsv文件到HBase表中

zengccc的专栏

03-31

131

起因在日常操作HBase的过程中，存在一些业务会把tsv文件导入到对应的HBase的要求，例如某个业务每天定期从数据库导出数据，我们负责接受到任务后，导入到对应的HBase表，上游再根据我们提供接口进行查询，导入流程如下： db ---> file.csv ---> HBase 集群用户查询流程如下： ndoe.js --> rest(hbase自带服务) --> HBa...

Hadoop数据迁移--使用importtsv两步载入数据

05-28

该工具是HBase提供的一个将HDFS数据转化为HBase数据库数据的一个工具。其实现过程是，先将HDFS文件转复制并转化为HFile文件，然后将HFile移动并加载成为HBase的数据文件。

hbase海量数据的全量导入方法

05-10

hbase海量数据的全量导入方法，大数据导入。

mysql import tsv_importTSV工具使用

weixin_29861235的博客

01-25

216

hbase importTSV工具(将一个TSV格式文件导入到表中)运行命令，可以看到importTSV/opt/bigdata/hadoop-2.7.3/bin/yarn jar /opt/bigdata/hbase-1.2.1/lib/hbase-server-1.2.1.jar运行可以出现提示信息/opt/bigdata/hadoop-2.7.3/bin/yarn jar /opt/bigd...

hbase 的importtsv方式简介

maketubu7的博客

06-12

3325

环境hadoop: hadoop-2.7.3hbase:hbase-0.98.6-hadoop21、importtsv的使用 1、先将准备好的数据上传到hdfs上， 2、在hbase上创建对应的表 3、执行导入*...

HBase 0.96.0 的数据导入: 利用ImportTsv，completebulkload，Import

热门推荐

samhacker的专栏

03-15

1万+

记录一下HBase 0.96.0 利用ImportTsv和completebulkload 导入数据的方法。我的环境里用的是Yarn。 1、利用ImportTsv 将cvs文件导入到HBase 步骤： a. 在hbase里面创建好table: 命令：create 'hbase-tbl-001','cf' b. Upload simple1.cvs文件到hdfs上面，其内容为

往HBase中导入csv文件的方法

幸运的Alina的博客

05-18

5594

在实际的操作中涉及到将批量的数据插入到HBase中，这样的话如果直接一条一条的通过put来进行插入，就显得尤其吃力了，在这里记录下自己所用到的方法，因为网上的资源很多都是千篇一律，然后需要配合自己的来弄，记录下对自己比较有用，以及在使用的过程中需要注意的地方。创建了一个测试的csv文件，命名为test.csv，数据长这样子首先将本地的csv文件上传到HDFS上去，这里...

文本数据导入HBASE

刘瑞东的专栏

07-10

4422

在将有定界符文本文件导入HBASE库中，需要将后面的定界符去掉，否则将导入失败。如下所示： [hadoop@hadoop1 bin]$ cat /tmp/emp.txt 1,A,201304, 2,B,201305, 3,C,201306, 4,D,201307, 这个文件后面多了一个逗号。 [hadoop@hadoop1 bin]$ hadoop fs -p

HBase导入数据方式之importTSV

HoppingMad的博客

01-01

1642

前言常见的将数据导入HBase的方式大概有以下几种： a）使用HBase put API b）使用Bulkload tool c）使用import功能 d）从Hive导入本文主要演示使用importTSV的方式将TSV文件导入HBase的表中。 1、创建上传TSV文件 TSV的全称是 Tab Separated Values File，也就是制表符分隔的文本文件。我们出于演示，可以在本地直接创建一个简单的文件student.tsv。 10001 zhangsan 35 male beijing 0109

HBase ImportTSV

大数据流浪法师的学习笔记与分享

06-01

1987

TSV文件与CSV文件的区别 TSV是Tab-separatedvalues的缩写,即制表符分隔值。相对来说CSV,Comma-separatedvalues(逗号分隔值)更常见一些。 ImportTSV功能描述： ImportTSV可以将tsv（也可以是csv，每行数据中各个字段使用分隔符分割）格式文本数据，加载到HBase表中。采用Put方式加载导入采用BulkLoad方式批量加载导入 ImportTSV这个功能藏在HBase自带的工具类jar包里。使用如下命令，查看HBase官方自带工具类

hbase导入csv文件数据