Hbase MapReduce 执行示例代码报错

MapReduce连接Hbase时报错及处理 MapReduce连接Hbase时报错及处理我的Map class如下:package com.hbasepackage;import java.io.IOException;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org. 阅读详情

问题

公司同事在学习Hbase 视频中有一段是Hbase 使用MapReduce 的官方实例使用 RowCounter 计算表的行数。

执行命令:

/usr/bdapp/hadoop-2.7.7/bin/yarn jar /usr/bdapp/hbase-2.1.7/lib/hbase-server-2.1.7.jar RowCounter test:user

抛出错误如下:

Exception in thread "main" java.lang.ClassNotFoundException: RowCounter
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:348)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:219)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:141)

这是一个很明显的错误:类找不到
分析一下原因:
1、jar包冲突:
排查方式:打印执行的环境。发现对应的jar包存在且无冲突。
2、版本问题,其中取消了该类。下载源码包,关键字查询确实不存在该类。


找到当前环境对应的官方文档:
在这里插入图片描述
执行该命令报错:

Unknown program 'org.apache.hadoop.hbase.mapreduce.RowCounter' chosen.
Valid program names are:
  CellCounter: Count cells in HBase table.
  WALPlayer: Replay WAL files.
  completebulkload: Complete a bulk data load.
  copytable: Export a table from local cluster to peer cluster.
  export: Write table data to HDFS.
  exportsnapshot: Export the specific snapshot to a given FileSystem.
  import: Import data written by Export.
  importtsv: Import data in TSV format.
  rowcounter: Count rows in HBase table.
  verifyrep: Compare data from tables in two different clusters. It doesn't work for incrementColumnValues'd cells since timestamp is changed after appending to WAL.

上边这段话意思是:
org.apache.hadoop.hbase.mapreduce.RowCounter
没有这个programe
有效的是下边这些:
export
rowcounter
这些命令


最终结果:

/usr/bdapp/hadoop-2.7.7/bin/hadoop jar /usr/bdapp/hbase-2.1.7/lib/hbase-mapreduce-2.1.7.jar rowcounter test:user

而后忽然发现文档有提醒:

$ HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` \
  ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/lib/hbase-mapreduce-2.0.0-SNAPSHOT.jar \
  rowcounter usertable

所以建议大家学习时和你的教学视频使用一致的环境。
或者首先思考问题成因,一步一步解决问题。
实在不行就及时想朋友或其他人求助。

hbase的mapreduce: mapreduce未执行;WARN mapred.LocalJobRunner: job_local_0001 14/04/01 13:51:41 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.4-1386507, built on 09/17/2012 08:33 GMT 14/04/01 13:51:41 INFO zookeeper.ZooKeeper: Client environment:host.name= 阅读详情

相关推荐

HBase-MapReduce开发过程中遇到的一些问题

最近在做课程设计,主要流程是从csv文件中采集数据,存储到HBase中,然后用MapReduce对数据进行统计分析。期间遇到了一些问题,通过各种搜索终于得到解决。在这里将这些问题及其解决方法记录下来。 1.HBase的HMaster自动关闭问题 进入zookeeper里面,删除HBase的数据(慎用),然后重启HBase ./zkCli.sh rmr /hbase stop-hbase.sh start-hbase.sh 2.用Maven打包时多模块依赖的处理 项目结构如下图 其中ETL和stati

yunipeng的博客 665

2021-05-06

当HBase遇上MapReduce 第1关:HBase的MapReduce快速入门 任务描述 相关知识 快速入门 HBase 的 MapReduce 配置 HBase 的 Map 类 和 Reduce 类 编程要求 测试说明 任务描述 本关任务:编写一个HBase的MapReduce配置程序。 相关知识 为了完成本关任务,你需要掌握: 快速入门 HBase的MapReduce配置 HBase的Map类 和Reduce类 快速入门 要运行HBase的MapReduce很简单,HBase内部已经自带了MapRe

weixin_47485917的博客 849

当HBase遇上MapReduce

第1关:HBase的MapReduce快速入门 本关任务:编写一个HBase的MapReduce配置程序。 package com.processdata; import java.io.IOException; import java.util.List; import java.util.Scanner; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.a

Junds0的博客 4339

HBase快速入门系列(7) | 官方HBase-MapReduce与自定义

  此篇为大家带来的是官方HBase-MapReduce与自定义。 目录1. 官方HBase-MapReduce1.查看HBase的MapReduce任务的执行2. 环境变量的导入2. 自定义HBase-MapReduce13. 自定义HBase-MapReduce2   通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。

不温卜火 6468

在overleaf中使用bibtex引用参考文献

最近在挑选写tex的平台,挑来挑去,个人感觉overleaf给我带来的体验感是最舒适的。不过由于对内部的文件组织和make进行了一层封装,所以与一般的本地平台编译tex会有一点不同。此处写一下在overleaf中使用bibtex的方法。 在tex中使用bibtex引用文献是一件很舒适的事,毕竟这是tex的优点之一(要是tex比word难用,我干什么不去用word,hhh) 第一步,我们创建一个.bib文件,名字随便起,我这边起为reference.bib。 然后打开谷歌学术,搜索你想要引用的文章,并找到

锦恢的博客 4万+

ovs实现lb负载均衡

负载均衡器的实现原理是通过硬件或软件设备将客户端访问流量根据转发策略分发到多个服务器或设备上,以确保系统的负载均衡。二层负载均衡‌:使用虚拟MAC地址方式,根据OSI模型的二层进行负载均衡。‌四层负载均衡‌:基于IP+端口的负载均衡,主要分析IP层及TCP/UDP层,实现四层负载均衡。‌七层负载均衡‌:从应用层开始,根据虚拟的URL或IP、主机名接收请求,再转向相应的处理服务器。

bobi的博客 951

当HBase遇上MapReduce头歌答案

第1关:HBase的MapReduce快速入门 任务描述 相关知识 快速入门 HBase 的 MapReduce 配置 HBase 的 Map 类 和 Reduce 类 编程要求 测试说明 任务描述 本关任务:编写一个HBase的MapReduce配置程序。 相关知识 为了完成本关任务,你需要掌握: 快速入门 HBase的MapReduce配置 HBase的Map类 和Reduce类 快速入门 要运行HBase的MapReduce很简单,HBase内部已经自带了M......

qq_52331221的博客 6665

告别偏色!手把手教你用i1Profiler 3.5为喷墨打印机制作专属ICC曲线(附D50/D65光源选择指南)

本文详细介绍了如何使用i1Profiler 3.5为喷墨打印机制作专属ICC曲线,解决设备偏色问题。从色彩管理基础、软件配置到色块打印与测量实战技巧,逐步指导用户完成曲线制作,并提供了D50/D65光源选择指南,确保色彩还原精准。适合摄影师和设计师提升打印质量。

weixin_30613343的博客 1万+

HBase的MapRedece头歌

头歌MapReduce

m0_74444874的博客 925

Python 高级语法:闭包

闭包(Closure)是函数式编程中的一个重要概念。在Python中,闭包可以简单理解为:一种特殊的函数。外函数:嵌套函数中最外层的函数称之为外函数。内函数:嵌套函数中最内层的函数称之为内函数;内函数引用了外函数的临时变量;外函数的返回使用了临时变量的内函数。

moment159的博客 2353

前端开发学习--登录和注册页面设计(html和css,可完成两个页面点击切换)

今天学习了登录和注册页面的设计,主要是HTML和CSS部分,注册和切换采用了Js代码进行,后面将通过js进行填写内容的验证,进而可通过JSP跳转到Servlet进行DAO数据的校验,这属于后端部分了。 总体设计思路:整个页面设计可以分为主体(content)、头部(content-header)、内容(content-body)三个部分组成,其中是主体是根部,包含了头部和内容,头部和内容各自下设两...

weixin_43691879的博客 1万+

Hbase JAVA API和HBase-MapReduce基本示例

1 Region server架构

不以物喜的博客 760

动态博弈、威胁与承诺(博弈论入门学习笔记四)

0 动态博弈 动态博弈:行动有先后顺序,不同的参与人在不同时点行动,先行动者的选择影响后行动者的选择空间,后行动者可以观察到先行动者做了什么选择。例如下棋、消费者和商家讨价还价、谈婚论嫁、企业之间的价格战等等。 因此,为了做出最优的行动选择,每个参与人都应该思考:如果我如此选择,对方将如何应对?如果我是他,我将会如何行动?给定他的应对,什么是我的最优选择? 动态博弈中的战略:在博弈开始之前就...

stepho的博客 1万+

MapReduce执行插入Hbase时的报错解决

刚写了个MapReduce用于数据处理,并把结果写到Hbase中保存,但在执行MapReduce过程中报错 我记得应该是执行完下面的hadoop-env.sh那一步之后我做了次同步,又执行了次报了.NoClassDefFoundError的错 大概是这么个情况 错误已经修复,当时忘了截图了 NoClassDefFoundError这种错误是没有配置classpath导致的 我把两个步骤放在一起写...

weiqiangGG的博客 531

绿米Aqara S1【妙控开关 S1E】版本降级或升级自定义固件的方法

绿米Aqara S1【妙控开关 S1E】版本降级或升级自定义固件的方法

LeeKwen的专栏 2170

YOLO26优化:注意力魔改 | 用于微小目标检测的上下文增强和特征细化网络ContextAggregation,助力小目标检测,暴力涨点

用于微小目标检测的上下文增强和特征细化网络ContextAggregation,助力小目标检测

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 488

HBase Mapreduce 结合案例问题

1.搭建依赖时遇到找不到org.apache.hadoop.hbase.mapreduce 这个包 因为使用的时hbase2.0版本的包,所以查了很久,看网上案例多半使用的时hbase1.0 所以使用的时hbase-server 依赖 但是2.0就不行了,需要改成下面的依赖 <!-- https://mvnrepository.com/artifact/org.apache.hbase...

gp2022的博客 824

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

hbase运行jar包_hbase学习之HBase与mapreduce集成

在公司中,大多数都是hbase和mapreduce共同进行业务操作,hbase多数都是读写操作,hbase和hadoop在内部已经封装好了,我们要做的就是调用。常见的模式1、从hbase读取数据将hbase的数据作为map的输入2、将数据写入hbase将hbase作为reduce输出3、从hbase读,再写入hbase场景:数据迁移比如有张表,有20列table01(20col),我需要将其中的1...

weixin_42525261的博客 651

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

hbase-MapReduce操作

hbase-mapreduce

jquery_learn的博客 293

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

MapReduce读写HBase时报错:java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration

报错信息如下: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration at test.OfflineComputation.MapReduceHBase.main(MapReduceHBase.java:107) at sun.reflect...

TT-Learning 3723

hbase运行jar包_HBase与mapreduce集成

在公司中,大多数都是hbase和mapreduce共同进行业务操作,hbase多数都是读写操作,hbase和hadoop在内部已经封装好了,我们要做的就是调用。常见的模式1、从hbase读取数据将hbase的数据作为map的输入2、将数据写入hbase将hbase作为reduce输出3、从hbase读,再写入hbase场景:数据迁移比如有张表,有20列table01(20col),我需要将其中的1...

weixin_35384453的博客 1000

hbase通过mapreduce进行数据导入迁移报错

说在文前,本人菜鸟一只,要是文中有什么说的不对的话,请大家批评指正~!! hbase有这样的功能,通过mapreduce进行数据导入或者迁移(也可以自己编码的,在Windows上编码也会有点报错,具体看我另一篇文章,里面的代码是个数据迁移的功能)。 执行hbase/lib包下面的hbase-server-0.98.6-hadoop2.jar这个jar包里面有些类可以供我们直接使用。例如:

lsr40的博客 4654

HBase和MapReduce结合

一、准备 让Hadoop加载HBase的jar包 法一:将HBase中的所有的jar包都导入到Hadoop的lib目录下 法二:将HBase的包地址写到Hadoop的hadoop-env.sh文件中 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:HBase的目录/lib/* 二、运行官方MapReduce任务 案例一:统计t1表的Cell的数量 hadoop jar hbase-server-1.3.1.jar CellCounter t1 /hba

Trony的博客 711

weblogic下部署的项目执行hbase的mapreduce报空指针错误解决方法

最近做mapreduce的项目,通过mapreduce操作hbase,项目部署在tomcat上一切正常,部署在weblogic上出现空指针错误,错误详情: java.lang.NullPointerException at java.io.File.(File.java:222) at java.util.zip.ZipFile.(ZipFile.java:75) at org.apa

liho2007的专栏 1598

ERROR mapreduce.DefaultVisibilityExpressionResolver: Error scanning ‘labels‘ table org.apache.hadoop

20/12/20 18:41:03 ERROR mapreduce.DefaultVisibilityExpressionResolver: Error scanning ‘labels’ table org.apache.hadoop.hbase.TableNotFoundException: Table ‘hbase:labels’ was not found, got: fruit. at org.apache.hadoop.hbase.client.ConnectionManager$ HConn.

《@书山有径%》的博客 463

hadoop mapreduce 写入hbase报错 Session 0x0 for server null, unexpected error, closing socket connection ...

现象:map任务构造数据正常,reduce任务,开始也正常,速度很快 ,在hbase 的管理界面,可以看到,5W以上的请求数 当reduce 执行到 70% 左右的时候,就堵住了,查看yarn的web界面,可以找到如下报错信息。 不会尝试使用SASL认证。 连接被拒绝。 错误原因,找不到zookeeper 的master。 最开始的时候,配置是这样注入的: conf.s...

anfuyi5792的博客 455
上一篇: JDK 源码下载 快速
下一篇: 【JVM调错】由于GC导致生产环境高CPU错误
Round_Yuan
博客等级 码龄10年 26粉丝 78原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值