项目打包到服务器运行时报错

最新推荐文章于 2023-02-28 15:12:09 发布

原创最新推荐文章于 2023-02-28 15:12:09 发布 · 328 阅读

0 ·

CC 4.0 BY-SA版权

异常专栏收录该内容

5 篇文章

订阅专栏

本文针对使用Spark Streaming进行实时计算时遇到的常见错误进行了详细解析，并提供了有效的解决方案，包括pom文件配置调整、缺少jar包导致的类找不到错误以及如何正确加载外部jar包。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在使用Spark_streaming实时计算一些指标，将jar包打到服务器上去遇见了一些错误

mvn clean package -DskipTests

1,`error:HbaseUtils is not a member of package com.spark_streaming.project.utils`

这个错误你要去看你的pom文件中：

 <sourceDirectory>src/main/scala</sourceDirectory>
 <testSourceDirectory>src/test/scala</testSourceDirectory>

需要将这两个注释掉

2，提交spark任务作业

spark-submit --master local[5] \
--class com.spark_streaming.project.spark.ChannelHot \
jar包的url \
参数  \

运行报错

error:ClassNotFoundException:org.apache.spark.streaming.kafka.KafkaUtils$

类找不到错误，在本地开发的时候是可以找到的。但是打包找不到，也就是少了jar包

  spark-submit --master local[5] \
    --class com.spark_streaming.project.spark.ChannelHot \
    -- packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 \
    jar包的url \
    参数  \

3第三个报错:

error:NoClassDefFoundError:org/apache/hadoop/hbase/client/HbaseAdmin

通过–jars将外部的jar包加进去，在这里介绍一个小方法，加所有的jar包

  spark-submit --master local[5] \
    --jars  $(echo  /home/hadoop/app/hbase-1.2.0-cdh5.7.0/lib/*.jar  |  tr  ' '  ',' )  \
    --class com.spark_streaming.project.spark.ChannelHot \
    -- packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 \
    jar包的url \
    参数  \