hbase2.1.6 mr

最新推荐文章于 2024-06-02 15:09:43 发布
原创 最新推荐文章于 2024-06-02 15:09:43 发布 · 432 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在Hadoop环境中配置HBase与MapReduce的依赖，确保二者能够顺利交互。主要内容包括编辑hadoop-env.sh文件引入HBase依赖，重启HBase和Hadoop使配置生效，以及解决在执行MapReduce任务时遇到的NoClassDefFoundError错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.hbase配置mapreduce依赖包

编辑Hadoop的hadoop-env.sh文件

2.重启hbase和Hadoop

上面配置为hadoop-env.sh后，需要重启才能生效。

3.在HBASE_HOME下运行命令即可

/var/bigdata/hadoop-2.7.6/bin/yarn jar lib/hbase-mapreduce-2.1.8.jar rowcounter tablename

 

问题：在第三步执行命令的时候可能会遇到NoClassDefFoundError类型的报错，这个报错的原因可能是因为mapreduce需要的jar包在lib下有遗漏。因此可以执行hbase mapredcp命令查看需要的jar包有哪些，然后找到lib下没有的复制到lib下即可。比如我这里遇到下面的tracer类没有，而通过hbase mapredcp命令看到这个类所属jar包在lib的子目录/hbase-2.1.8/lib/client-facing-thirdparty下，因此需要拷贝到lib下即可解决。

Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/core/Tracer

 

Hbase -MR
开水烫鱼的博客
12-10 328
需求1：对一张表的rowkey进行计数 通过yarn调用hbase/lib下给我们提供的rowcounter程序 1)查看包 在hbase/bin/hbase mapredcp 可查看需要的包 2)导包 export HBASE_HOME=/opt/hbase export HADOOP_HOME=/opt/hadoop export HADOOP_CLASSPATH = `${HBASE_HOM...
【图书推荐】《分布式数据库HBase案例教程》
最新发布
brucexia的专栏
06-11 1495
本书定位是HBase从入门到应用的简明教程，特色是以实战案例为主，内容系统全面，讲解深入浅出，操作步骤清晰明了。本书配套示例源码、PPT课件、开发环境、教学视频、习题及答案以及其他丰富的教学资源。本书共分为8章，内容包括NoSQL数据库、HBase体系架构、HBase的接口、MapReduce与HBase、HBase表设计、HBase和Hive、HBase深入剖析、论坛日志分析实战。陈建平，福州德明科技有限公司，大数据专家讲师。2006年从事大数据相关的工作，2010年开始从事大数据培训工作。
Hbase 2.1.6安装配置教程（踩坑记录）
chuiguixin3900的博客
09-06 1648
前言 初学大数据，安装大数据各种环境。分享一下安装（CAI KENG）过程（JI LU）。 前提 你已安装好Hadoop 2.7.x版本,强烈推荐的版本！绝对不能是3.1.2版本，因为它不兼容Hbase 2.X.x版本，官方兼容列表说3.1.1+的Hadoop，我的实践中，3.1.2不成...
HBase MR
Be yourself.
04-11 456
前言 在前面的章节内, 我们介绍了如何安装与操作HBase. 本章, 我们将讲解下HBase MR的相关操作. 这段内容在开发的过程中, 经常用来构建索引. 以提高用户的搜索效率. 前置条件 JDK Hadoop HBase HBase API 正文 Reference [1]. [How to] MapReduce on HBase ----- 简单二级索引的实现 [2]. Elast...
HBase-MR
weixin_30730053的博客
12-09 166
一、需求1：对一张表的rowkey进行计数 官方HBase-Mapreduce 需求1：对一张表的rowkey进行计数 1）导入环境变量 export HBASE_HOME=/root/hd/hbase-1.3.0 export HADOOP_HOME=/root/hd/hadoop-2.8.4 export HADOOP_CLASSPATH=`${...
HBase的安装和使用
fanday的博客
01-05 589
文章目录HBaes介绍1.1、HBase的起源1.2、HBase的角色1.2.1、HMaster1.2.2、RegionServer1.3、HBase的架构HBase部署与使用2.1、部署2.1.1、Zookeeper正常部署2.1.2、Hadoop正常部署2.1.3、HBase的解压2.1.4、HBase的配置文件2.1.5、HBase需要依赖的Jar包2.1.6、HBase软连接Hadoop配...
【学习笔记】大数据技术之HBase
prague6695的博客
04-08 1748
大数据技术之HBase思考?1. RegionServer和Master的区别？第 1 章 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构第 2 章 HBase 快速入门2.1 HBase 安装部署2.1.1 Zookeeper 正常部署2.1.2 Hadoop 正常部署2.1.3 HBase 的解压2.1.4 HBase 的配置文件2.1.5 HBase 远程发送到其他
spark02： 围绕Spark3.0.1为主Hadoop3.2、Mysql、Hbase2.3.3、Hive3.1.2、ZooKeeper3.5.5、Flume、Kafka、Redis搭建
Big_data_implicit_
11-26 1256
非生产环境，就使用一个新一点的版本，提前先踩踩坑，版本的选型真是一个头疼的问题，先看一下apache的官网的测试图： 先选好Spark：3.0.1 对应的Hadoop:3.2和2.7中选一个，综合上面的图，2.7无法使用HBase，只能选3.2了 #hadoop软件： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1-src.tar.gz ＃spark软件： http://archive.apac
【大数据处理技术】期末复习整理
热门推荐
鸽子的博客
07-19 2万+
所用教材：《大数据技术原理与应用——概念、存储、处理、分析与应用（第2版）》，由厦门大学计算机科学系林子雨编著。 教材官网：http://dblab.xmu.edu.cn/post/bigdata/ 慕课：http://www.icourse163.org/course/XMU-1002335004 内容总结自PPT： 第一篇：大数据基础 第1章 大数据概述 第2章 大数据处理架构Hadoop 第二篇 大数据存储与管理 第3章 分布式文件系统HDFS 第4章 分布式数据库HBase 第5章 No
hbase不同版本jar包.rar
08-07
hbase 1.2.0和1.2.6两个版本的jar依赖包，java，Eclipse开发，导入对应版本的依赖包
Hbase MR入门
那又怎样？的博客
11-21 537
转载来自：http://www.aboutyun.com/thread-8671-1-1.html 问题导读 1.hbase作为数据读取源和输出源样例模板-包含那些过程？ 2.通过下例你认为hdfs读入hbase有几种方式？ 3.从hbase中的表作为数据源读取，hdfs作为数据输出，你认为的思路是什么？ 1、先看一个标准的hbase作
大数据之HBase_MR
csdnwindnorth的博客
10-14 355
官方HBase-MapReduce 查看HBase的MapReduce任务的所需的依赖 bin/hbase mapredcp 执行环境变量的导入 $ export HBASE_HOME=/opt/module/hbase-1.3.1 $ export HADOOP_CLASSPATH = ``${HBASE_HOME}/bin/hbase mapredcp ` 运行官方的MapReduce任务 –...
HBase与MR、hive集成
Imflash的博客
09-22 767
文章目录12、HBase与MapReduce的集成需求一：读取myuser这张表当中的数据写入到HBase的另外一张表当中去第一步：创建myuser2这张表第二步：创建maven工程，导入jar包第三步：开发MR的程序第四步：运行运行第一种方式：本地运行运行第二种方式：打包集群运行第一步：pom.xml当中添加打包插件第二步：代码当中添加第三步：使用maven打包需求二：读取HDFS文件，写入到H...
hbase自定义mr-2
big_data_study的博客
09-15 170
1.目标：实现将hdfs中的数据写入到hbase表中 //数据样式 1001 apple red 1002 pear yellow 1003 pineapple yellow 1.创建fruit.tsv,导入数据，上传到hdfs / 下 2.hbase 中 创建 fruit2 表 3.把下面自定义 mr2打包 上传到集群中 // 例如： /opt 下 4.运行命令： /opt/hadoop/bi...
hbase2.1.6协处理器使用
ASN_forever的博客
02-16 1342
对于2.1.6这个版本，使用协处理器需要引入hbase-common依赖。 1.写协处理器实现类 package com.asn.bigdata.hbase; import java.io.IOException; import java.util.Optional; import org.apache.hadoop.conf.Configuration; import org.apac...
Hbase与MR的交互
2301_77836489的博客
06-02 429
Hbase与MR的交互
6、HBase和MR
resilienter的博客
12-09 225
Hbase和MR 通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，如使用MapReduce将数据从本地文件系统导入到HBase之中。或者使用MapReduce对Hbase中的一些表进行分析。 准备 首先要配置好hadoop和Hbase的环境变量 在hadoop-env.sh中在for循环后加上export HADOOP_CLASSPATH=$HADOO...
MR操作hbase的一点心得（含hbase表拷贝样例代码）
bluekeyv的专栏
11-22 1万+
最近在写基于hbase的MR程序。总结如下：       1、使用TableMapper来读取表       2、写入表的第一种方式是用TableMapReduceUtil.initTableReducerJob的方法，这里既可以在map阶段输出，也能在reduce阶段输出。区别是Reduce的class设置为null或者实际的reduce 以下是一个表copy的例子：   package
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值