idea构建spark项目(Libraries在不同级别下的定义--Exception in thread “main“ java.lang.NoSuchMethodError: scala.Pr)

最新推荐文章于 2024-05-11 00:44:14 发布
原创 最新推荐文章于 2024-05-11 00:44:14 发布 · 246 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在使用IntelliJ IDEA构建Spark项目时遇到的`NoSuchMethodError`异常，问题源于Scala SDK的版本冲突。通过将全局库中的Scala SDK移除，并在项目设置的库中添加Spark相关的jar包和本地安装的Scala 2.10.7版本，成功解决了问题。同时，文章提及了IntelliJ IDEA中库的三种定义级别：全局、项目和模块，并提到了使用的Java、IDEA和Scala版本信息。

一、构建过程中遇到的一些问题

用global libraries的scala就会出现如下错误。

（我的改动是把global libraries里面的scala的sdk删除，在project setting下的libraries里面添加了spark里的jars和本机安装的2.10.7版本的Scala。这样按照下面的配置，可以成功执行spark项目）

我在idea官网上面查到的信息：In IntelliJ IDEA, libraries can be defined at three levels: global (available for many projects), project (available for all modules within a project), and module (available for one module).

翻译过来就是，在IntelliJ IDEA中，可以在三个级别上定义库：全局 （对于许多项目可用），项目（该项目中的所有模块可用）和模块（对一个模块可用）

最低0.47元/天 解锁文章
【Spark】项目导入报错：java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product；)V
懂得一千零一种,赋予你失败的方法！
03-25 4182
报错 Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at org.apache.spark.SparkConf$DeprecatedConfig.<init>(SparkConf.scala:809) at org.apache.spark.SparkConf$.<init>(SparkConf.scala:642) at org.a.
scala: No ‘scala-library*.jar‘ in Scala compiler classpath in Scala SDK Maven: org.scala-lang:scala-
C'mon的博客
09-18 2554
当你遇到“”这样的错误时，通常是由于你的Scala环境配置有问题，特别是在使用Maven作为构建工具的情况下。这个错误提示意味着Scala编译器在查找必要的Scala库时未能找到文件。以下是一些可能的解决方案：确保你的Scala SDK路径配置正确，并且包含了。如果你使用的是IDE（如IntelliJ IDEA或Eclipse），请检查Scala插件的配置。确保你的项目的文件中包含了正确的Scala库依赖。对于Scala 2.13.1，你应该在中添加以下依赖： 3. 检查Maven仓库 确保Maven可以从
IDEA报错：Exception in thread “main“ java.lang.NullPointerException
weixin_42716139的博客
12-24 7333
Exception in thread "main" java.lang.NullPointerException，空指针错误。 1, 原因多是用到的某个对象只进行了声明，而没有初始化，即没有被new。 2, 今天发现另一种原因： 本想 创建一个long型数组，结果不小心写成了Long： long[] l1 = new long[n]; 却写成了： Long[] l1 = new Long[n]; ...
解决 java.lang.NoSuchMethodError的错误
08-30
主要介绍了解决 java.lang.NoSuchMethodError的错误的相关资料,需要的朋友可以参考下
idea外部资源库（External Libraries）看不到的解决办法
zbb1183776038的博客
09-07 3419
idea外部资源库（External Libraries）看不到的解决办法 背景：因为外部资源没了，导致我看不到引入的jar正不正确，所以才找到这种解决办法。 只要找到C:\Users\user.IntelliJIdea2019.3\config\options 这个目录下配置文件projectView.xml并且将他删除 然后打开idea的进行清除缓存操作，再重新打开idea即可解决问题
配置spark，并在idea中搭建项目
定期分享我的发现和想法，感谢你的陪伴和支持
04-25 8858
网上的普遍太久远，不太适配，记录自己历经三天的完美搭建
【异常】idea执行Main方法出现 Exception in thread “main“ java.lang.NoClassDefFoundError: javax/servlet/http/Htt
木辰風的博客
10-10 2547
1）出现该异常的原因：就是找不到HttpServletRequest类，及javax.servlet-apipom坐标没引入或scope作用域问题。2：添加tomcat安装目录下lib目录下的Servlet-api.jar包。2）main方法存在于使用HttpServletRequest类的类中。注：Spring Boot项目有内置的web 容器，不会出现该问题。3）项目POM中引入有javax.servlet-api坐标或没有。2：修改idea中的（推荐，该方法不会改变pom内容）
MapReduce报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio
weixin_42229056的博客
09-13 1万+
在使用MapReduce的小测试的时候，Driver类启动，或报下面的错误 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properl...
IDEA构建Maven项目报错:Exception in thread "main" java.lang.NoClassDefFoundError
萧邦主的城邦
05-02 1万+
内容简介一、异常详情二、产生的原因三、解决办法 一、异常详情 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration at com.hadoop.friend.MainAppStepOne.main(MainAppStepOne.java:19) ...
在IDEA中编写Scala代码
qq_43917601的博客
03-09 2806
在IDEA中编写Scala代码 首先点击file进入Setting中的Plugins下载好Scala插件 我已经下载好了，点击旁边的INSTALL就可以下载了。下载好后要重启IDEA！ 然后点击file进入Progject Structure,选择Global Libraries;点击+号选择Scala SDK 找到你安装的scala的文件位置并添加，点击ok就可以了 最后在项目中运用 1.创建项目，选择maven项目 2.左键单击你的项目，选择Add framework Support… 3.进
Exception in thread "main" org.apache.spark.SparkException: Task not serializable异常
热门推荐
冲子
11-24 2万+
问题原因： 解决方案：
笔记 | spark安装及入门会遇到哪些坑
jiangti_ng的博客
07-22 1839
linux的期末大作业我直接写明这学期学习这个操作系统有多痛苦，并且清晰地说出我以后离不开linux的悲哀，然后老师妥妥给我打了高分（捂脸
intellij idea导入jar包 以及global libaray 公共库的用法 不需要重复导jar包
qq892628217的博客
12-02 9641
新手入门intellij idea 必须学会如何导入jar包。 第一步 File –&amp;amp;amp;amp;amp;gt; Project Structure导入方法 第二步 你可以选择在global libraries 点击加号，然后选择自己本地下载好的jar包的路径。 记得要选择jar文件，不要选择文件夹才能导入成功 第三步记得要在module里加入要编译的libraries，不然等于第二步没用。 ...
在idea跑本地模式报错Exception in thread “main“ java.io.IOException
LFQ244117370的博客
07-04 1565
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120) at org...
【IDEA】Exception in thread “main“ java.lang.OutOfMemoryError: Java heap space 解决方案
qq_43755297的博客
05-11 761
然后点开 Modify options，勾选 Add VM options，在框里写 -Xmx20480m，保存，完毕。首先，点开右上角的运行文件列表，选择 Edit Configuration。
运行sparkStreaming出错Exception in thread "main" org.apache.spark.SparkException: Only one SparkContent
weixin_43548518的博客
12-18 1186
运行sparkStreaming 程序出错Exception in thread “main” org.apache.spark.SparkException: Only one SparkConte 19/12/18 11:21:38 INFO SharedState: Warehouse path is 'file:/C:/Users/baron/Desktop/sparktest/spark...
提交spark的代码的时候出现Exception in thread "main" org.apache.SparkException:Yarn application has already end
wangxiyanw的博客
03-06 7336
出现的具体错误是:Exception in thread "main" org.apache.SparkException:Yarn application has already ended! It might have been killed or unable to launch application master.我最开始运行的是client模式出现了Spark的任务无法提交的情况.之后...
spark应用提交报错解决
lsr40的博客
04-20 1万+
老样子，菜鸡一只！如果有什么说错的，还请大家见谅~！！也希望大家帮我指出改正。本次测试的spark版本是2.2.X的，从打包开始，打包有两种方式，一种是maven打包，一种是idea打包（据说这种打包方式叫SBT？maybe把），然后打出来的包也有两种，一种叫胖包，一种叫瘦包。我先打了胖包（胖包就是把项目中所有依赖的jar包都打进去，如果依赖多的话，能达到好几百M，瘦包就是单纯打包你的代码），然后...
2020-09-23
weixin_48029616的博客
09-23 1113
-----Spark 在xshell中出现如下错误： Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 解决办法：修改/opt/module/spark-yarn/conf/spark-env.sh（spark-env.sh .
Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V翻译
最新发布
03-26
<think>嗯，用户遇到了一个Java异常：java.lang.NoSuchMethodError，具体是scala.Product.init相关的错误。我需要先理解这个错误的原因，然后找到解决方法。根据提供的引用资料，这个问题似乎和Scala版本不一致有关。比如，引用[1]提到IDEA引入的Scala运行环境版本与默认版本不一致，解决方法需要调整版本。引用[2]和[3]也提到版本不匹配的问题，建议检查并统一版本。引用[4]和[5]则具体说明删除旧版本，保留兼容的版本可以解决问题。 首先，我应该解释这个错误的原因。通常，NoSuchMethodError发生在编译时存在的类在运行时被改变，导致方法不存在。这里涉及到Scala的Product类，可能是在不同版本的Scala中，这个类的方法签名发生了变化。例如，用户可能使用了一个依赖项（如Spark）需要特定版本的Scala，而项目中配置的Scala版本与之不兼容。 接下来，解决方法需要检查Scala版本和依赖库的兼容性。用户需要确认项目中使用的Scala版本是否与Spark或其他库要求的版本一致。例如，如果Spark是基于Scala 2.12编译的，而项目使用的是Scala 2.11，就会出现这种问题。此外，检查IDE中的Scala SDK设置，确保没有多个版本冲突，删除多余的版本，只保留正确的一个。 可能还需要指导用户如何检查版本，比如在构建工具（如Maven或SBT）中配置正确的Scala版本，或者在IDE中调整项目结构。另外，建议用户参考官方文档或库的版本兼容性列表，确保所有依赖项版本匹配。 另外，用户的问题可能发生在从Spark Core转到Spark SQL时，这说明不同模块可能对Scala版本有不同的要求，需要统一整个项目的Scala版本。因此，统一项目中的所有模块和依赖项的Scala版本是关键步骤。 总结来说，解决方案的核心是确保Scala版本的一致性，包括IDE配置、构建工具设置以及依赖库的版本匹配。需要分步骤指导用户检查并调整这些配置，以消除版本冲突导致的NoSuchMethodError。</think>### 回答：`java.lang.NoSuchMethodError: scala.Product.init` 异常的原因与解决方案 #### 异常原因 此异常通常由 **Scala版本不兼容** 引起，具体表现为： 1. **依赖库与Scala版本冲突**：例如Spark、Akka等框架对Scala版本有严格依赖，若项目中使用的Scala版本与框架编译时的版本不一致，会触发此类错误[^1][^5]。 2. **IDE环境配置问题**：IntelliJ IDEA可能同时存在多个Scala SDK版本，导致运行时加载了不兼容的版本[^2][^4]。 3. **构建工具配置错误**：Maven或SBT中未显式指定Scala版本，或版本声明与其他依赖冲突[^3]。 --- #### 解决方案（逐步操作） ##### 1. **确认Scala版本兼容性** - **检查框架要求**：例如Spark 3.x需与Scala 2.12/2.13配合，而Spark 2.4.x兼容Scala 2.11。 - **统一版本声明**： - **Maven项目**：在`pom.xml`中显式指定Scala版本： ```xml <properties> <scala.version>2.12.15</scala.version> </properties> ``` - **SBT项目**：在`build.sbt`中设置： ```scala scalaVersion := "2.12.15" ``` ##### 2. **清理IDE中的Scala SDK配置** - **IntelliJ IDEA操作步骤**： 1. 打开 `File > Project Structure > Global Libraries`。 2. 删除所有冲突的Scala SDK（如2.11和2.12共存时保留一个）。 3. 重新添加正确的SDK版本（需提前下载对应版本）。 ##### 3. **更新依赖项版本** - 若使用Spark，需确保`spark-core`、`spark-sql`等库的版本与Scala版本匹配。例如： ```xml <!-- Spark 3.3.1 for Scala 2.12 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.3.1</version> </dependency> ``` ##### 4. **清理并重建项目** - 执行以下操作确保无缓存干扰： ```bash mvn clean install # Maven项目 sbt clean compile # SBT项目 ``` --- #### 示例配置修正 以Spark 3.3.1与Scala 2.12为例： ```xml <!-- Maven中声明Scala和Spark版本 --> <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.12.15</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.3.1</version> </dependency> </dependencies> ``` --- #### 引用总结 - 版本冲突是根本原因，需统一Scala SDK版本[^1]。 - Spark等框架对Scala版本敏感，必须严格匹配[^2]。 - 从[Scala官网](https://www.scala-lang.org/download/)下载正确版本。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值