hbase2.1.6 mr

最新推荐文章于 2024-06-11 08:38:16 发布
原创 最新推荐文章于 2024-06-11 08:38:16 发布 · 466 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在Hadoop环境中配置HBase与MapReduce的依赖，确保二者能够顺利交互。主要内容包括编辑hadoop-env.sh文件引入HBase依赖，重启HBase和Hadoop使配置生效，以及解决在执行MapReduce任务时遇到的NoClassDefFoundError错误。

1.hbase配置mapreduce依赖包

编辑Hadoop的hadoop-env.sh文件

2.重启hbase和Hadoop

上面配置为hadoop-env.sh后，需要重启才能生效。

3.在HBASE_HOME下运行命令即可

/var/bigdata/hadoop-2.7.6/bin/yarn jar lib/hbase-mapreduce-2.1.8.jar rowcounter tablename

 

问题：在第三步执行命令的时候可能会遇到NoClassDefFoundError类型的报错，这个报错的原因可能是因为mapreduce需要的jar包在lib下有遗漏。因此可以执行hbase mapredcp命令查看需要的jar包有哪些，然后找到lib下没有的复制到lib下即可。比如我这里遇到下面的tracer类没有，而通过hbase mapredcp命令看到这个类所属jar包在lib的子目录/hbase-2.1.8/lib/client-facing-thirdparty下，因此需要拷贝到lib下即可解决。

Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/core/Tracer

 

Hbase -MR
开水烫鱼的博客
12-10 351
需求1：对一张表的rowkey进行计数 通过yarn调用hbase/lib下给我们提供的rowcounter程序 1)查看包 在hbase/bin/hbase mapredcp 可查看需要的包 2)导包 export HBASE_HOME=/opt/hbase export HADOOP_HOME=/opt/hadoop export HADOOP_CLASSPATH = `${HBASE_HOM...
HBase与MR、hive集成
Imflash的博客
09-22 795
文章目录12、HBase与MapReduce的集成需求一：读取myuser这张表当中的数据写入到HBase的另外一张表当中去第一步：创建myuser2这张表第二步：创建maven工程，导入jar包第三步：开发MR的程序第四步：运行运行第一种方式：本地运行运行第二种方式：打包集群运行第一步：pom.xml当中添加打包插件第二步：代码当中添加第三步：使用maven打包需求二：读取HDFS文件，写入到H...
hbase2.1.6协处理器使用
01-20
对于2.1.6这个版本，使用协处理器需要引入hbase-common依赖。 协处理器分为两种，一种是observer协处理器，一种是endpoint协处理器。 下面首先记录第一种协处理器的使用步骤。 一、observer协处理器 案例背景 有user和people两个表，每个表都有一个person列族。现在要实现的是向user表插入“person:name”之前，先将其rowkey插入到people表的“person:lastname”。相当于是二级索引的概念。 步骤 1.修改配置文件hbase-site.xml，保证在协处理器加载和运行出现异常时，regionserver仍然可以提供服务。
Hbase 2.1.6安装配置教程（踩坑记录）
chuiguixin3900的博客
09-06 1701
前言 初学大数据，安装大数据各种环境。分享一下安装（CAI KENG）过程（JI LU）。 前提 你已安装好Hadoop 2.7.x版本,强烈推荐的版本！绝对不能是3.1.2版本，因为它不兼容Hbase 2.X.x版本，官方兼容列表说3.1.1+的Hadoop，我的实践中，3.1.2不成...
HBase MR
Be yourself.
04-11 551
前言 在前面的章节内, 我们介绍了如何安装与操作HBase. 本章, 我们将讲解下HBase MR的相关操作. 这段内容在开发的过程中, 经常用来构建索引. 以提高用户的搜索效率. 前置条件 JDK Hadoop HBase HBase API 正文 Reference [1]. [How to] MapReduce on HBase ----- 简单二级索引的实现 [2]. Elast...
【图书推荐】《分布式数据库HBase案例教程》
最新发布
夏天又到了的专栏
06-11 1632
本书定位是HBase从入门到应用的简明教程，特色是以实战案例为主，内容系统全面，讲解深入浅出，操作步骤清晰明了。本书配套示例源码、PPT课件、开发环境、教学视频、习题及答案以及其他丰富的教学资源。本书共分为8章，内容包括NoSQL数据库、HBase体系架构、HBase的接口、MapReduce与HBase、HBase表设计、HBase和Hive、HBase深入剖析、论坛日志分析实战。陈建平，福州德明科技有限公司，大数据专家讲师。2006年从事大数据相关的工作，2010年开始从事大数据培训工作。
HBase的安装和使用
fanday的博客
01-05 678
文章目录HBaes介绍1.1、HBase的起源1.2、HBase的角色1.2.1、HMaster1.2.2、RegionServer1.3、HBase的架构HBase部署与使用2.1、部署2.1.1、Zookeeper正常部署2.1.2、Hadoop正常部署2.1.3、HBase的解压2.1.4、HBase的配置文件2.1.5、HBase需要依赖的Jar包2.1.6、HBase软连接Hadoop配...
【学习笔记】大数据技术之HBase
prague6695的博客
04-08 1773
大数据技术之HBase思考?1. RegionServer和Master的区别？第 1 章 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构第 2 章 HBase 快速入门2.1 HBase 安装部署2.1.1 Zookeeper 正常部署2.1.2 Hadoop 正常部署2.1.3 HBase 的解压2.1.4 HBase 的配置文件2.1.5 HBase 远程发送到其他
spark02： 围绕Spark3.0.1为主Hadoop3.2、Mysql、Hbase2.3.3、Hive3.1.2、ZooKeeper3.5.5、Flume、Kafka、Redis搭建
Big_data_implicit_
11-26 1290
非生产环境，就使用一个新一点的版本，提前先踩踩坑，版本的选型真是一个头疼的问题，先看一下apache的官网的测试图： 先选好Spark：3.0.1 对应的Hadoop:3.2和2.7中选一个，综合上面的图，2.7无法使用HBase，只能选3.2了 #hadoop软件： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1-src.tar.gz ＃spark软件： http://archive.apac
大数据面试总结
weixin_41045909的博客
03-27 1118
1 总体情况 现在我面试了三家 第一家：***技术股份有限公司，已经得到复试通知 第二家：***第一研究所，面试成功，给的待遇是18万~20万/年。他们在等待我的回复。 第三家：电话面试，面得不好，这个部门主要不是开发，他需要熟悉各组件，做架构推荐的。 下面是面试题汇总，我自己做了一些，有些正在看。 2 ***技术股份有限公司 2.1 面试题 2.1.1 介绍自己，讲讲自己的项目 2.1....
hbase不同版本jar包.rar
08-07
hbase 1.2.0和1.2.6两个版本的jar依赖包，java，Eclipse开发，导入对应版本的依赖包
HBase-MR
weixin_30730053的博客
12-09 177
一、需求1：对一张表的rowkey进行计数 官方HBase-Mapreduce 需求1：对一张表的rowkey进行计数 1）导入环境变量 export HBASE_HOME=/root/hd/hbase-1.3.0 export HADOOP_HOME=/root/hd/hadoop-2.8.4 export HADOOP_CLASSPATH=`${...
Hbase MR入门
那又怎样？的博客
11-21 551
转载来自：http://www.aboutyun.com/thread-8671-1-1.html 问题导读 1.hbase作为数据读取源和输出源样例模板-包含那些过程？ 2.通过下例你认为hdfs读入hbase有几种方式？ 3.从hbase中的表作为数据源读取，hdfs作为数据输出，你认为的思路是什么？ 1、先看一个标准的hbase作
大数据之HBase_MR
csdnwindnorth的博客
10-14 373
官方HBase-MapReduce 查看HBase的MapReduce任务的所需的依赖 bin/hbase mapredcp 执行环境变量的导入 $ export HBASE_HOME=/opt/module/hbase-1.3.1 $ export HADOOP_CLASSPATH = ``${HBASE_HOME}/bin/hbase mapredcp ` 运行官方的MapReduce任务 –...
hbase自定义mr-2
big_data_study的博客
09-15 183
1.目标：实现将hdfs中的数据写入到hbase表中 //数据样式 1001 apple red 1002 pear yellow 1003 pineapple yellow 1.创建fruit.tsv,导入数据，上传到hdfs / 下 2.hbase 中 创建 fruit2 表 3.把下面自定义 mr2打包 上传到集群中 // 例如： /opt 下 4.运行命令： /opt/hadoop/bi...
Hbase与MR的交互
2301_77836489的博客
06-02 507
Hbase与MR的交互
6、HBase和MR
resilienter的博客
12-09 239
Hbase和MR 通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，如使用MapReduce将数据从本地文件系统导入到HBase之中。或者使用MapReduce对Hbase中的一些表进行分析。 准备 首先要配置好hadoop和Hbase的环境变量 在hadoop-env.sh中在for循环后加上export HADOOP_CLASSPATH=$HADOO...
MR操作hbase的一点心得（含hbase表拷贝样例代码）
热门推荐
bluekeyv的专栏
11-22 1万+
最近在写基于hbase的MR程序。总结如下：       1、使用TableMapper来读取表       2、写入表的第一种方式是用TableMapReduceUtil.initTableReducerJob的方法，这里既可以在map阶段输出，也能在reduce阶段输出。区别是Reduce的class设置为null或者实际的reduce 以下是一个表copy的例子：   package
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值