hbase程序报错：java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan

最新推荐文章于 2024-08-03 14:21:47 发布

原创

最新推荐文章于 2024-08-03 14:21:47 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #hadoop

本地编写hbase程序后，maven生成jar包，提交到测试环境，使用MapReduce执行时，

$ yarn jar /home/dwuser/jars/hbase-1.0-SNAPSHOT.jar 类名 参数名....

遇到如下报错：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan
        at com.xxx.xxxxxxxx.run(xxxxxx.java:77)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at com.xxx.xxxxx.main(xxxxxx.java:111)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

浅笑de喵

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

sqoop报错Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning

yy的博客

11-02

2433

问题: hive切换引擎为tez之后,sqoop导入数据到内部表报错Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning 解决方法: vim /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/sqoop/conf/hive-site.xml 修改下面参数为mr: (这里不要使用hive/conf下的h...

java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/MultiTableInputFormat at org.apach

优快云精品推荐

08-04

411

编写 `MapReduce` 程序时，Input输入源为 `HBase` ，在本地 `IDEA` 运行出现了如下问题 `java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/MultiTableInputFormat` ，然而将其打成jar包在集群中就可以完美运行。

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

优快云-Ada助手 2023.08.02
恭喜你这篇博客进入【优快云每天最佳新人】榜单，全部的排名请看 https://bbs.youkuaiyun.com/topics/616916301。

Caused by: java.lang.ClassNotFoundException: org.apache.http.ssl.TrustStrategy

sun_duoLong的博客

11-17

1286

java.lang.NoClassDefFoundError: org/apache/http/ssl/TrustStrategy at com.aliyun.openservices.log.Client.<init>(Client.java:273) at com.aliyun.openservices.log.Client.<init>(Client.java:218) at com.aliyun.openservices.log...

Spark SQL读取hbase映射到hive表-----异常记录

fengfengchen95的博客

07-25

1350

异常问题一： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableInputFormatBase at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.Clas...

集群提交HBase代码报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguratio

SunnyRivers

09-26

3411

原因分析 HBase官网已经告诉我们原因以及解决方法了：原因：默认情况下，部署到MapReduce群集的MapReduce作业无法访问$ HBASE_CONF_DIR下的HBase配置或HBase类。解决方法：要为MapReduce作业提供所需的访问权限，可以将hbase-site.xml_添加到_ $ HADOOP_HOME / conf并将HBase jar添加到$ HADOOP_H...

Caused by： java.lang.ClassNotFoundException:org.apache.hadoop.hive.conf.hiveConf

m0_74156097的博客

08-03

1183

原因是缺失jar包，可能是sqoop conf文件的sqoop-env-template.sh里面没有配置相关的hadoop hive zookeeper 的相关环境变量。最后重新执行sqoop的create-hive-table的相关命令显示这样就成功了。进入sqoop的conf文件下找到sqoop-env-template.sh进入。添加相关得到环境变量（注意这里后面的路径取决于你自己hive或者其他的安装路径）

报错：java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.SerDeUtils.initializeSerDe

u011159820的博客

03-19

2541

最开始报错： java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams 解决办法： javap -classpath hive-serde-0.13.1.jar org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe | grep initSerdeParams 发现类LazySimpleSerDe 中有方法initSerdePa

运行jar包报错：java.lang.NoClassDefFoundError org/apache/hadoop/hbase/HBaseConfiguration

qq_43437122的博客

06-13

4177

之前都是在Windows客户端操作HBase，今天把程序打成jar包在MR上跑的时候，报了错误，详细信息如下： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration at hadoop02.exer.hbase010301.HBaseImportDemo.<init>(HBaseImportDemo.java:26)

phoenix连接hbase一直卡住，报错：Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SpanReceiver

weixin_45642452的博客

01-28

3026

phoenix连接hbase一直卡住，报错：Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SpanReceiver 问题描述今天有个任务，是安装phoenix连接hbase对里面的表进行操作。 HBase不负众望地一直报错一直报错，反应在操作上的就是：执行 ./bin/sqlline.py localhost 没反应…果然今天又是被linux虐杀的一天，哭了… 等了很久，接到ERROR报错： OK 接下来开启baidu/

HBase集群迁移数据报错：java.lang.ClassNotFoundException: org.apache.phoenix.hbase.index.Indexer

周源的专栏

08-14

1814

RegionServers报错日志： 2018-08-14 17:19:58,072 ERROR [RS_OPEN_REGION-140:16020-0] handler.OpenRegionHandler: Failed open of region=xtable,381d5ed8-a610-4bad-99ff-0606130bf560,1523067492130.334f9b02d198fb...

Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace

zhc794429974的博客

01-14

6480

在整合flume + kafka + storm + hbase 时，出现 java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration 起初从网上搜到俩个解决方法 1、在hadoop-env.sh 加了下面那句 2、在hadoop的lib下加了hbase-common-1.3.1.jar ...

HBase出现java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration问题

热门推荐

JSON_ZJS的博客

06-20

1万+

问题：Hbase在集群上运行报错：NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration 需求：HBase使用Java创建表，打包成jar，提交到集群上行运行！在IDEA中使用Maven添加Hbase 代码： <dependency> <groupId>org.apa...

Web项目整合Hbase报错java.lang.ClassNotFoundException

l-jobs的专栏

05-03

1440

问题描述：在idea上运行web项目，本来以为使用maven引入habse的包就行了，这样编译可以通过。没想到在运行时抛出错误，说NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration<dependency> <groupId>org.apache.hbase</groupId> ...

hive和hbase整合，Caused by: java.lang.ClassNotFoundException

yang灬仔

08-13

2786

Hive-1.2.1与HBase-1.1.2的整合这里的整合是指，将HBase作为存储数据的库，由Hive作为连接桥梁在Hive中创建表时，出现了 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescript...

生成HFile文件后倒入数据出现Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.filter.Filter...

weixin_30673715的博客

11-04

757

数据导入的时候出现： at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2615) at java.lang.Class.getMethod0(Class.java:2856) at j...

Hbase源码分析之org.apache.hadoop.hbase.client包

云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告

04-30

3105

Scan：设置scan记录的条件，buffer size，cache size等 ResultScanner：提供scan的接口， ClientScaner：客户端 ResultScanner的实现，数据分布在多个region之间的，就依次读取。用法如下： HTableInterface tbl = null; tbl = table.getTable("table

【HBase】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Fil

象在舞的技术专栏

11-20

2219

【问题描述】在使用bulkload方式向HBase导入数据的时候遇到了如下的错误： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter at java.lang.Class.getDeclaredMethods0(Native Method) a...

java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration

mtj66的博客，交流WX:SpringBreeze1104

08-30

9993

用sbt打包Spark程序，并未将所有依赖都打入包中，把Spark应用放到集群中运行时，出现异常：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration at SparkHbase.main(SparkHbase.scala:34)at

Flink on yarn-session启动出错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.except

qwerdftgu的博客

07-18

800

Flink on yarn-session启动出错 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException org.apache.hadoop.conf.Configuration。

Job aborted due to stage failure: Task 1 in stage 2.0 failed 4 times, most recent failure: Lost task 1.3 in stage 2.0 (TID 222) (hadoop1 executor 1): org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.spark.SparkSQLPushDownFilter

最新发布

10-17

出现 `Job aborted due to stage failure`，`Task 1 in stage 2.0 failed 4 times`，`org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.spark.SparkSQLPushDownFilter` 这类错误，通常是由于类路径问题导致 Spark 无法找到所需的 HBase 相关类。以下是可能的解决办法： ### 检查依赖确保在 Spark 环境中包含了 HBase 和 HBase Spark 集成的相关依赖。如果使用的是 Maven 项目，可以在 `pom.xml` 中添加以下依赖： ```xml <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-spark</artifactId> <version>你的 HBase 版本号</version> </dependency> ``` 如果是使用 Spark 提交任务，可以通过 `--jars` 参数指定 HBase Spark 集成的 JAR 文件路径，例如： ```bash spark-submit --jars /path/to/hbase-spark-<version>.jar your_script.py ``` ### 检查环境变量确保 HBase 和 Hadoop 的环境变量配置正确。可以参考引用 [3] 中配置 Hadoop 环境变量的方法，配置 `HADOOP_CONF_DIR` 和 `YARN_CONF_DIR` 等环境变量。例如： ```bash export HADOOP_HOME=/u01/hadoop-2.6.1 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HOME/.local/bin:$HOME/bin:$SQOOP_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin ``` ### 检查 HBase 配置确保 HBase 的配置文件（如 `hbase-site.xml`）正确配置，并且 Spark 能够访问这些配置文件。可以将 HBase 的配置文件复制到 Spark 的配置目录下，或者在 Spark 代码中显式指定 HBase 配置文件的路径。 ### 检查版本兼容性确保 HBase、Hadoop 和 Spark 的版本相互兼容。不同版本之间可能存在不兼容的问题，建议使用官方推荐的版本组合。 ### 示例代码以下是一个简单的 Spark 代码示例，展示如何读取 HBase 表： ```python from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("ReadHBase") sc = SparkContext(conf=conf) host = 'localhost' table = 'your_table_name' conf = {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": table} keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter" valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter" hbase_rdd = sc.newAPIHadoopRDD( "org.apache.hadoop.hbase.mapreduce.TableInputFormat", "org.apache.hadoop.hbase.io.ImmutableBytesWritable", "org.apache.hadoop.hbase.client.Result", keyConverter=keyConv, valueConverter=valueConv, conf=conf ) count = hbase_rdd.count() hbase_rdd.cache() output = hbase_rdd.collect() for (k, v) in output: print(k, v) ``` ###