Spark 第三方jar包依赖解决方案

最新推荐文章于 2022-08-09 22:37:29 发布
原创 最新推荐文章于 2022-08-09 22:37:29 发布 · 5.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #解决方案

本文介绍了在Spark开发中处理第三方jar包依赖的多种方法，包括将jar包打包到应用jar中、通过--jars参数、--packages参数以及设置SPARK_CLASSPATH。详细解析了各种场景下适用的解决方案，并特别提到了在Spark on Yarn的cluster模式下，依赖jar的特殊处理方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

forSparktitle
在进行Spark开发和学习中，有时会遇到缺包或找不到类的情况，或是需要自定义扩展一些功能，那么我们就要了解第三方jar包依赖解决方案，今天抽空总结一下各种解决方案和适用场景。

一. 将第三方的jar文件打包到应用jar文件中
使用场景：第三方jar文件比较小，依赖的spark应用比较少
二. 使用参数–jars给定依赖jar文件
要求jar文件在driver运行的机器上存在
使用场景：依赖的spark应用比较少
例如，Spark集成Hive,需要MySQL连接驱动包：
命令：SPARKHOME/bin/spark−sql–jars

最低0.47元/天 解锁文章

200万优质内容无限畅学
sparkscala开发依赖包
07-29
sparkscala开发依赖包 ECLIPSE 开发IDE需要的对应依赖包
spark依赖
01-07
– 4.0.0 com.bjsxt.spark MySpark 1.0-SNAPSHOT – UTF-8 1.8 1.8 – – org.apache.spark spark-core_2.11 2.3.1 – org.apache.spark spark-sql_2.11 2.3.1 – org.apache.spark spark-hive_2.11 2.3.1 – mysql mysql-connector-java 5.1.47 – org.apache.spark spark-streaming_2.11 2.3.1 – org.apache.spark spark-streamin
spark依赖外部第三方jar包
为什么简介是必填项？
07-18 6363
一、摘要 由于项目需要搭建spark单独提交jar包运行，而spark提交jar包执行，需要依赖外部其他第三方jar包时候，官方给出的是在spark-submit命令上增加 --jars 参数去指定外部jar包，但是一个项目运行依赖的外部jar及其的多，此种方式肯定是不行的； 网上找的各种方式最终都没有效果，以下是本人所处理的结果； 二、当前运行环境 spark2.4.3 jdk1.8 s......
spark 任务添加外部依赖包
积水成渊
08-19 1036
1. spark 任务添加外部依赖包 ```txt 依赖包放这个目录下 spark on yarn: /opt/spark/spark-2.1.1-bin-hadoop2.6/jars mkdir -p /opt/external_jars ln -s /opt/external_jars /opt/spark/spark-2.1.1-bin-hadoop2.6/jars/external_jars 具体操作如下： （1）新建目录 mkdir -p /opt/external_jars （2）上传
spark依赖、打包、上传、运行
yan_yixin的博客
10-21 353
spark依赖、打包、上传、运行Eclipse Eclipse 1.解压所需要的lib目录 2.将整个文件复制粘贴到项目中 3.将lib包里的依赖全选进行包操作 4.出现一个新的lib依赖包 5.写完代码将需要的项目打包 6.选择jar包地址后执行下一步操作选择mian方法的class 7.之后将打包的代码以及数据上传到集群上 8.将数据放hdfs上 9.进入到spark的bin目录下 10.然后执行jar包将输出的文件写入到hdfs上 11.执行成功后在hdfs上查看数据 N
Spark2.2.0 idea引入第三方 集群运行时 jar 无法找到类错误
yxm555111的专栏
12-09 797
更新 spark2.2.0 版本打包第三方 jar 错误新版 spark 生成 jar 无需引入本地 jars 文件夹，否则重复出错。 项目使用已有 jar 导致出现各种 No Class found 错误。万念俱灰下，发现源代码中有一个 scala 的文件调用的 jar 没有报错，这个文件包括object和空的 class，同理修改报错的其他代码文件，集群运行一切正常。 原因不清楚
spark程序打包为jar包，并且导出所有第三方依赖的jar包
あずにゃん梓喵的博客
07-31 3173
Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...
spark引用jar包_集群中运行MR程序/spark程序时，引用不到/找不到集群中的jar包
weixin_39681724的博客
02-11 372
问题：window本地运行MR程序/spark程序时，是正常可以的，但是打包程序jar包到集群环境中运行时，却报错 ClassNotFound 引用不到/找不到 第三方jar包中的类时。分析原因：window本地因为配置了maven正常依赖使用第三方jar包，但是把MR程序/spark程序打包为jar包上传到集群环境中时，却无法引用找到集群环境中的第三方jar包解决方式之一：可在本地打包完MR程序...
spark_jar包
07-11
spark 最新技术架包，具体说名请找度娘。知道的人可以下载
spark集群+第三发jar包运行命令
m0_37537263的博客
09-28 595
spark集群+第三方jar包运行命令 对于我来说，使用IEDA进行spark编程还是一件特别不习惯的事，可能是因为我先用eclipse编写了java代码的原因吧，所以还是毅然放弃intelliJ IDEA转而使用scala IDE(也就是用于scala开发的eclipse)，免安装的版本还是很方便的，推荐给大家。 使用Scala IDE中打jar包时， 出现的问题1：无法选择main方法，jar...
spark项目打jar包，不包含依赖包问题的解决方案
weixin_33941350的博客
05-06 871
mvn clean package打包maven-archetype-webapp项目时，打包后的jar包含项目中引用的jar包(解压后，在WEB-INF有一个lib目录，该目录下有所有依赖包)。 mvn clean package打包maven-archetype-quickstart项目时，打包后的jar为什么不包含项目中引用的jar包呢？这样就会导致，spark-submit运行spark...
java spark jar包_Spark jar包找不到解决方法
weixin_33520849的博客
02-24 986
今天在使用中DataFrame往Mysql中插入RDD，但是一直报出以下的异常次信息：[[emailprotected] ~]$ bin/spark-submit --master local[2]--jars lib/mysql-connector-java-5.1.35.jar--class spark.sparkToJDBC ./spark-test_2.10-1.0.jarspark...
Spark应用依赖jar包的添加解决方案
Yage的博客
05-23 1万+
在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的jar有效呢？有如下四种方案： 1.使用参数–jars 添加本地的第三方jar文件（运行spark-submit脚本的机器上），可以给定多个jar文件，中间用逗号隔开 bin/spark-sql --jars /opt/modules/cdh-5.3...
spark开发环境搭建（基于idea 和maven）
热门推荐
哎幽的成长
11-22 6万+
使用idea构建maven 管理的spark项目 ，默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步: scala插件的安装 全局JDK和Library的设置 配置全局的Scala SDK 新建maven项目 属于你的”Hello World!” 导入spark依赖 编写sprak代码 打包在spark上运行 1.sc
idea搭建scala环境_编程语言scala：Spark环境搭建
weixin_39962394的博客
11-23 138
基于IntelliJ IDEA 搭建好Scala编程环境(编程语言-scala语言环境搭建)之后，接下来，基于以上环境接着搭建Spark环境。1.Spark jar包下载Spark环境的搭建需要下载Spark依赖包--jar包，在Spark的jar包下载界面(https://spark.apache.org/downloads.html)选择相应的版本 Spark1...
SparkSQL（2）：Spark应用依赖第三方jar文件解决方案
小蚯蚓的博客
10-30 6327
一、实现功能 spark运行依赖jar包添加方式。 二、方法 1. 本地jar包： （1）方法：使用参数--jars添加本地的第三方jar文件，可以给定多个，使用逗号分隔 bin/spark-shell --jars /opt/modules/hive-1.2.1/lib/mysql-connector-java-5.1.27-bin.jar,/opt/modules/hive-1.2...
添加spark的相关依赖和打包插件（第六弹）
m0_57781407的博客
08-09 4282
可以看到计算出的单词频数itcast（1）Hadoop（1）spark（1）hello（3）可以看到计算出的单词频数itcast（1）Hadoop（1）spark（1）hello（3）
Spark1.0.0 源码编译和部署包生成
ckl_soft的专栏
08-13 1115
Spark1.0.0的源码编译和部署包生成，其本质只有两种：Maven和SBT，只不过针对不同场景而已： Maven编译SBT编译IntelliJ IDEA编译（可以采用Maven或SBT插件编译），适用于开发人员部署包生成（内嵌Maven编译），适用于维护人员 编译的目的是生成指定环境下运行Spark本身或开发Spark Application的JAR包，本次编译的目的生成运行在ha
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值