Hbase-0.98.x-haoop2 ImportTsv与completebulkload 工具如何使用

最新推荐文章于 2019-05-01 17:09:00 发布
原创 最新推荐文章于 2019-05-01 17:09:00 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hbase #jar #集群

本文介绍在HBase 0.98版本中使用ImportTsv命令遇到的问题及解决方法，包括类找不到和缺少文件等问题，并说明了与0.96.x等版本的不同。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前段时间，自己在实验室琢磨hbase，实验室有5台机器，并且都已经部署好了hadoop2.2.0集群，然后在其中的3台上面装好了zookeeper3.4.6与hbase-0.98.9-hadoop2后，使用

bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,cf  tb-001 /user/local/data.dat

命令失败，不是说找不到hbase org.apache.hadoop.hbase.mapreduce.ImportTsv这个类，就是说缺少什么什么文件，后来干脆把$HBASE_HOME/lib线面的jar包全部拷贝到$HADOOP_HOME/common/lib目录下，问题解决。

hbase在0.98版本后包的结构发生了很大的变化，completebulkload 工具的命令下之前需要应用hbase-0.96.x或者0.94.x等等的jar包，对应0.98版本的jar包为hbase-server-hbase-0.98.9-hadoop2.jar 。希望自己的总结对你有所帮助。

hbase bulk load 小实践及一些总结
关注大数据~
11-30 7094
很早就知道bulk load这个东西，也大致都清楚怎么回事，居然直到前几天才第一次实践...  这篇文章大致分为三个部分： 1. 使用hbase自带的importtsv工具 2. 自己实现写mr生成hfile并加载 3. bulk load本身及对依赖的第三方包的一些总结 第一部分： 导入的文件是data.txt，符合tsv格式，如下： 做一些准备工作： a. 在hdfs上
HBase bulkload后scan性能问题如何优化
yuantangyuan的博客
02-17 907
问题简介 Bulk load主要面向需要大批量的向HBase导入数据的场景。这种方式是先生成HBase的底层存储文件 HFile，然后直接将这些 HFile 移动到HBase的存储目录下。它相比调用HBase的put API添加数据，处理效率更快并且对HBase 运行影响更小。 业务使用bulkload+scan的模式非常普遍，往往是一个离线任务bulkload一批文件后，就启动另一个离线任务去读所有bulkload过的数据。普遍存在的问题是，bulk load后scan全表时请求处理慢。 且这种情况同时可
Hbase的completebulkload导入数据
Chunhong Song的专栏
11-23 2164
有时候，我们需要将日志文件中的数据导入到Hbase中，通常情况下，你可以写一个方法逐行读取日志记录然后写入到Hbase中，但是这种方法往往效率比较低下，更好地方式试讲日志文件的内容通过某种工具直接导入到Hbase中，会显得更快速更方便，Hbase中有现成的工具支持来这么做。 这两个工具分别是ImportTSV和complete不离开load。 ImportTSV是用来将日志文件转化成HFile
CompleteBulkLoad
weixin_34301307的博客
03-06 160
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase安装(0.98.x)-LMS日志结构型数据库
laughing1997的博客
10-18 570
前言： 数据库，按照数据库的存储结构来区分的话， key-value数据结构：其中比较出名的有redis这种； 二叉树类型的数据结构：比较出名的是mysql和oracle； LMS日志结构性数据库：就是hbase。 以下，大致讲解下hbase怎么去配置单机，伪分布式，完全分布式。 首先是hbase版本对应的信息如下： 前提条件，安装jdk 和 hadoop，并配置了环境变量 1.单机模式 直接解...
HBase数据导入之completebulkload方式
gl74gs48的专栏
04-24 3152
本文讲述将CSV格式数据文件导入HBASE，采用completebulkload方式提高效率
hbase中的使用completebulkload导入数据
qq_34896163的博客
11-26 1398
completebulkload(十分重要，在实际开发中一般都是使用这样的方式来加载数据到表中)： file(csv)->hfile->load：这种方式是直接将file文件转换成hfile文件，然后直接load到hbase中，因为自己加载数据到hbase中的时候，需要经过HLog->MemStore->Store->StoreFile->Hfile->l...
hbase-0.98.12.1-hadoop1-bin.tar.gz
12-04
本文将围绕"Hbase-0.98.12.1-hadoop1-bin.tar.gz"这一特定版本的HBase进行详细介绍，包括其特性、安装与配置、以及与Hadoop1的集成。 1. **HBase 0.98.12.1概述** HBase 0.98.12.1是HBase的早期稳定版本，提供了...
hbase-0.98.17-hadoop2-bin.tar.gz
12-24
"hbase-0.98.17-hadoop2-bin.tar.gz" 是HBase 0.98.17版本针对Hadoop 2.x生态系统的二进制发行包，供用户下载并部署使用。 HBase的设计理念源于Google的Bigtable，它将数据存储在行式表中，每行由一个唯一的行键...
hbase-0.98.12.1-src.tar.gz
12-04
通过对`hbase-0.98.12.1-src.tar.gz`源码的深入研究，我们可以深入理解HBase的工作机制，这对于开发、维护和优化HBase集群，以及解决实际应用中的问题至关重要。同时，这也是对分布式系统、大数据处理等领域知识的...
hbase-0.98.12.1-hadoop2-bin.tar.gz
08-24
2. 解压：使用`tar -zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz`命令解压。 3. 配置：修改conf/hbase-site.xml文件，设置HBase的相关配置，如HDFS地址、Zookeeper地址等。 4. 启动：启动HBase的Master和...
执行 completebulkload 操作报错
cuixiuqin1954的专栏
04-13 1901
近一段时间从事公司hadoop集群升级工作，将原来hadoop2.3 、hbase0.98 升级到 hadoop2.6 、hbase1.2. 升级后发现原来执行的 completebulkload 操作出现问题。现在展示一下报错的内容，和解决的过程 源执行脚本 hadoop jar /home/hadoop/cdh5/hadoop-2.6.0-cdh5.10.0/share/h
centOS中安装HBase0.98，HBase基本操作
进行中
02-12 493
下载hbase wget http://archive.apache.org/dist/hbase/0.98.18/hbase-0.98.18-hadoop2-bin.tar.gz 解压 tar -zxvf hbase-0.98.18-hadoop2-bin.tar.gz 进入hbase,修改hbase-env.sh vim hbase-env.sh export JAVA_HOME=/us...
HBase导入大数据三大方式之（三）——mapreduce+completebulkload 方式
luckymelina的专栏
04-03 5110
一、设计HBASE的表名、列名和字段名： 1、  创建支持hive查询的hbase表： CREATE TABLE bill(rowkey string, 00_selfnumber string, 01_day string, 02_hour string, 03_duration string, 04_calltype string, 05_targetnumber string,
HBase使用命令运行mapreduce程序以及tsv,csv导入到HBase操作-05
kxj19980524的博客
05-01 869
先配置hbase和hadoop的环境变量,因为它是使用命令执行mapreduce程序,环境变量只是临时用一下,不用永久配置到/etc/profile里面,执行export命令就是在当前会话中可以使用这个环境变量. 执行环境变量导入 $ export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/ $ export HADOOP_HOME=...
HBase导入大数据三大方式之（二）——importtsv +completebulkload 方式
AllIsWill的博客
09-11 647
做大数据时，经常需要用到将大量格式化的文本数据导入到hbase中。此处就用到的三种方式：hive类SQL语句方式、importtsv +completebulkload 方式、mapreduce+completebulkload 方式，做下简单示例。上篇介...
hbase0.98.9安装
weixin_30314813的博客
05-13 166
HBASE安装 实验环境：hadoop2.7.3，linux 所用安装包：hbase-0.98.9-hadoop2-bin.tar.gz 解压软件包：tar -zxvf hbase-0.98.9-hadoop2-bin.tar.gz -C /usr/local/ 进入HBASE安装目录： [hadoop@master conf]$ cd /usr/local/hbase/con...
ImportTsv－HBase数据导入工具
cihongmo6452的博客
04-10 405
一、概述 Hbase官方提供了基于Mapreduce的批量数据导入工具：Bulk load和ImportTsv。关于Bulk load大家可以看下我另一篇博文。 通常HBase用户会使用HBase API导数，但是如果一次性导入大批量数据，可能占用大量Regionserver资源，影响存...
HBase 0.96.0 的数据导入: 利用ImportTsv，completebulkload，Import
热门推荐
samhacker的专栏
03-15 1万+
记录一下HBase 0.96.0 利用ImportTsv和completebulkload 导入数据的方法。我的环境里用的是Yarn。 1、利用ImportTsv 将cvs文件导入到HBase 步骤： a. 在hbase里面创建好table: 命令：create 'hbase-tbl-001','cf' b. Upload simple1.cvs文件到hdfs上面，其内容为
hbase-0.98.23-src.tar.gz
最新发布
03-21
### 下载 HBase 0.98.23 源码压缩包 要下载 HBase 0.98.23 的源码压缩包，可以通过 Apache 官方镜像站点或者 Maven 中央仓库完成。以下是具体方法： #### 方法一：通过 Apache 镜像站点下载 Apache 提供了官方的镜像站点用于下载各个版本的 HBase 软件。对于 HBase 0.98.23 版本，可以直接访问以下链接并找到对应的 `src` 文件： - 访问地址：[https://archive.apache.org/dist/hbase/](https://archive.apache.org/dist/hbase/) - 找到对应版本路径：`hbase-0.98.23/` - 下载源码文件：`hbase-0.98.23-src.tar.gz` 命令如下所示： ```bash wget https://archive.apache.org/dist/hbase/0.98.23/hbase-0.98.23-src.tar.gz ``` 此方式适用于需要稳定版本的情况，并且能够验证文件签名和校验值。 #### 方法二：通过 Maven 中央仓库下载 如果更倾向于使用构建工具管理依赖项，则可以从 Maven 中央仓库拉取 HBase 源码。执行以下命令克隆项目或直接下载 JAR 包及其关联资源。 Maven 坐标定义如下： ```xml <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>0.98.23-hadoop2</version> </dependency> ``` 运行 Maven 构建脚本来提取所需模块即可获得完整的源代码结构[^4]。 需要注意的是，在实际部署过程中还需要设置好 Java 环境以及相关配置文件如 `hbase-site.xml`, 同时确保所有节点间网络互通正常以便集群模式下顺利工作[^1]. 另外提醒一点,HBase作为分布式数据库系统其稳定性很大程度上取决于底层存储引擎(HDFS)的表现,因此建议同步升级至兼容性更高的Hadoop版本以减少潜在风险. ```python import os def download_hbase_source(version="0.98.23"): url = f"https://archive.apache.org/dist/hbase/{version}/hbase-{version}-src.tar.gz" file_name = f"hbase-{version}-src.tar.gz" try: import urllib.request with urllib.request.urlopen(url) as response, open(file_name, 'wb') as out_file: data = response.read() # a `bytes` object out_file.write(data) print(f"{file_name} has been downloaded successfully.") except Exception as e: print(f"Failed to download {file_name}. Error: {e}") if __name__ == "__main__": download_hbase_source() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值