spark编译问题解决 object apache is not a member of package org

最新推荐文章于 2025-01-26 17:40:35 发布
最新推荐文章于 2025-01-26 17:40:35 发布
阅读量4.9w 收藏 13
点赞数 7
分类专栏： 大数据 文章标签： spark object not a member package
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wyx100/article/details/51857389
版权
本文解决了在使用Scala编程语言进行Apache Spark开发时遇到的常见错误。针对找不到SparkConf和SparkContext类型的问题，提供了详细的步骤来添加所需的Spark jar包。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

报错

Error:(6, 12) object apache is not a member of package org

import org.apache.spark.SparkContext._
^
Error:(7, 12) object apache is not a member of package org
import org.apache.spark.{SparkConf, SparkContext}
^
Error:(16, 20) not found: type SparkConf
val conf = new SparkConf().setAppName("HelloSpark")
^
Error:(17, 18) not found: type SparkContext

val sc = new SparkContext(conf)

^


解决：

右键工程-open module setting-Libraries-spark-assembly-1.0.0-hadoop1.0.4.jar（添加spark的jar包-保存



Spark学习:编译Spark项目时遇到的报错
nzbing的博客
07-30 1350
spark
Spark程序编译报错error: object apache is not a member of package org
dengmanzhou3124的博客
08-28 4828
Spark程序编译报错： [INFO] Compiling 2 source files to E:\Develop\IDEAWorkspace\spark\target\classes at 1567004370534[ERROR] E:\Develop\IDEAWorkspace\spark\src\main\scala\cn\itcast\wordCount\WordCount....
spark sql on hive安装问题解析
mach_learn的专栏
01-06 6578
安装spark时，默认的spark assembly 不包含hive支持。spark官网上说明“Spark SQL also supports reading and writing data stored in Apache Hive. However, since Hive has a large number of dependencies, it is not included in the default Spark assembly.” ，要想spark sql在hive上运行，需要编辑与自己使
Springboot使用thymeleaf+xhtmlrenderer动态生成Html并转为图片，亲测有效，注意数据替换
m0_53525025的博客
01-26 385
有个根据数据自动生成表格图片的需求，分析了下需要进行两步：1、动态生成表格2、将表格内容转为图片返回给前端。
[bug解决] IDEA spark编译出现error：object Apache is not a member of package org
一只大数据专业的傻猪猪
04-05 8407
error：object Apache is not a member of package org
idea + spark 报错：object apache is not a member of package org
xl132598798的博客
04-22 1万+
在idea中运行Scala程序时，出现如下错误： 出现上述错误的原因是未导入Spark 相关jar包，如下图所示添加下载好的相关jar包即可。
idea spark编译出现error：object Apache is not a member of package org
weixin_43638075的博客
09-14 8044
在创建一个maven工程后将工程打成jar包时出现如下错误 再三确认pom.xml文件无误后，只能逐个排除问题，最后发现有可能是因为maven仓库的路径存在中文问题（因为默认安装在了user目录下,而我的用户名恰好是中文） 解决方法，复制 .m2文件 到没有空格没有中文的路径下，重新指定maven的仓库 好了成功解决。 ...
[IDEA运行spark|spark sql出错]Error:(4, 8) object SparkConf is not a member of package org.apache.spark
NBA首席形象大使坤坤
04-07 1548
**原因：**实际上问题的根本原因，是因为spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly.jar已经不存在。原来的 jar包分解为：jars/.jar 解决办法：到Saprk官网下载spark安装包，然后解压spark，将jars下的所有jar包添加到项目lib中。 spark下载地址：https://archive.apache.org/dist/spark/ 解压后将jars目录放到自己熟悉的地方，然后在IDEA中为项目添加l.
object apache is not a member of package org import org.apache.spark.SparkConf
07-27
- *1* [IDEA配置-解决: object apache is not a member of package org问题](https://blog.csdn.net/weixin_42437355/article/details/111885878)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630",...
scala /home/zyz/ScalaCodes/h21.scala /home/zyz/ScalaCodes/h21.scala:1: error: object apache is not a member of package org import org.apache.spark._ ^ /home/zyz/ScalaCodes/h21.scala:2: error: object apache is not a member of package org import org.apache.spark.rdd.RDD ^ /home/zyz/ScalaCodes/h21.scala:5: error: not found: type SparkConf val conf = new SparkConf().setAppName("Student Courses").setMaster("local") ^ /home/zyz/ScalaCodes/h21.scala:6: error: not found: type SparkContext val sc = new SparkContext(conf) ^ /home/zyz/ScalaCodes/h21.scala:9: error: not found: type RDD val data: RDD[String] = sc.textFile("/home/zyz/ScalaCodes/score.txt") ^ 5 errors found
最新发布
03-18
当遇到 `object apache is not a member of package org` 或者无法识别 `SparkConf` 和 `SparkContext` 的情况时，通常是因为构建工具配置不正确或者依赖项缺失。以下是可能的原因以及对应的解决方法： #### 1. ...
eclispe集成Scalas环境后，导入外部Spark包报错：object apache is not a member of package org...
aisi5656的博客
08-23 791
在Eclipse中集成scala环境后，发现导入的Spark包报错，提示是：object apache is not a member of package org，网上说了一大推，其实问题很简单； 解决办法：在创建scala工程是，到了创建包的这一步是我们要选择： 而不是创建java工程是的Java程序的包类型；然后创建scala类的时候也是一样，注意选择是scala clas...
idea运行scala报错Error:(1, 12) object apache is not a member of package org
ddzzz_的博客
11-09 7925
idea运行scala报错Error:(1, 12) object apache is not a member of package org 本人使用的是idea2020.1、spark2.1.1 、scala2.11.0 在网上找了很多文章，主要原因是缺少个什么jar包：Libraries-spark-assembly-1.0.0-hadoop1.0.4.jar，然后是spark2.0版本前lib目录下就有需要的jar包，但spark2.0之后jar包存在jars目录下，我就直接把jars目录下的ja
sparksql遇到的问题总结—object spark is not a member of package org.apache
weixin_44437669的博客
11-13 614
确认pom.xml文件中的信息无误之后，有可能是Maven中jar包不完整，将pom.xml文件中的spark的依赖项注释掉，可以在idea中引入外来的jar包，具体可以从spark的官网上下载，选中spark3-3.0.0-hadoop2.7/jars下面的所有包。最后运行结果没有提示报错。
IDEA配置-解决: object apache is not a member of package org问题
热门推荐
不才妹妹的博客
12-29 1万+
IDEA配置-解决: object apache is not a member of package org问题问题问题探索及解决 我在博客上找了很多解决方案，感觉都不够完整，所以在此整理以备后续之用： 问题 按照博客在IDEA上配置Spark环境并编译scala脚本的时候报错： Error:(1, 12) object apache is not a member of package org import org.apache.log4j.{Level, Logger} 问题探索及解决 初步探索后
spark ml报错：object ml is not a member of package org.apache.spark
小蚯蚓的博客
05-15 5182
一、问题描述 使用sparkml库的linalg类库等，尽管引入spark mllib依赖，但是发现无法导入相应库，运行后报错： Error:(2, 25) object ml is not a member of package org.apache.spark import org.apache.spark.ml.classification.LogisticRegression Err...
解决Java:程序包xxxx不存在 或者object apache is not a member of package org
赣江
05-18 6055
现象： 安装IntelliJ IDEA 2020.1.1后，打开项目，执行，发现flink项目始终无法启动，报错都是： scala代码：object apache is not a member of package org java代码：Java:程序包xxxx不存在 又开了另外一个项目，执行正常 解决 注意：本次碰到的问题是新安装idea后产生的，如果是idea确定安装没有问题，那么通过网上其他办法解决，先判断下依赖是真的被导入， 1. 进入Modules，查看项目中的Depende.
object apache is not a member of package org
weixin_46784562的博客
06-03 1953
报错信息 idea版本：2020.1.1 maven版本：3.6.3 思考 我的maven仓库配置正确，仓库中也有对应的spark的资源，鉴于本人的idea版本和maven版本都比较新，怀疑是maven有问题； 初步决定先把maven降版本使用，如果还不行就重装idea； 解决 现用的maven 3.6.3停用，由于本人之前使用3.6.0版本也出过问题，所以最后选用maven 3.6.2，运行程序，报错消失 注意修改maven环境变量，如果降maven版本还不行的话，可以考虑重新安装idea ...
idea 运行 scala 报错 object apache is not a member of package org
Lbg_007的博客
07-28 5555
现象： idea 运行scala项目报错object apache is not a member of package org 解决：
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值