idea中运行spark项目遇到的坑

最新推荐文章于 2023-04-28 20:23:32 发布
原创 最新推荐文章于 2023-04-28 20:23:32 发布 · 1.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文主要探讨了Spark项目中常见的三个问题：主类未加载、winutils.exe导致的错误以及 mphive写权限问题。提供了详细的解决方案，包括检查.iml文件、配置hive默认数据目录等，帮助开发者快速定位并解决问题。

1、未加载到主类
这个问题有很多原因，我的原因是项目缺少.iml文件
删除.idea文件夹重新编译build
还有可能情况是项目的scala文件夹是否设置为source源

2、winutils.exe导致的报错
在window下本地运行spark需要系统中安装了hadoop，并且在hadoop/bin目录下有winutils.exe文件

3、\tmp\hive 没有写权限
这个因为本地运行spark项目用到了hive所以需要配置hive的默认数据目录\tmp\hive
winutils.exe chmod d:\tmp\hive

云平台发放的虚拟机无法提交spark任务到大数据集群上（双IP）：Service ‘sparkDriver‘ failed after 16 retries...correct binding ...
lukabruce的博客
05-28 635
1 现象描述 部分异常： Service 'sparkDriver' failed after 16 retries.......correct binding address. 云平台发放的虚拟机包含两个IP，包含虚拟机内部实际的网络地址（ifconfig查看到的内网IP：192.168.xx.xx）和对方访问的IP（绑定的外网虚拟IP：11.11.xx.xx）,想要在云平台外访问虚拟机需要使用外网IP经过一次网络地址转换，直接使用内部IP是无法访问的。 所以在当任务提交的时候实际使用的是内部
【大数据】在win11下使用IDEA进行Spark实践
m0_51371693的博客
11-29 1367
spark，scala，IDEA
Spark 开发过程当中遇到的若干大坑（持续更新中......）
weixin_34270865的博客
08-26 283
2019独角兽企业重金招聘Python工程师标准>>> ...
使用Intellij Idea开发Spark应用遇到的问题
温润如风的博客
08-03 2032
如下图 诸如此类的错误，一般是设置scala文件所在的目录设置了多个source类型的文件夹
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
weixin_51579912的博客
04-28 801
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
IDEA开发Spark提示failed to locate the winutils binary in the hadoop binary
专注于后端开发，时常接触大数据 、人工智能等
03-20 760
转自： https://blog.csdn.net/Utopia_1919/article/details/52451952 今天整理电脑删了一些没用的东西，回过头开发spark的时候发现spark提示错误： 16/09/06 17:20:43 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pat...
在IDEA中利用Maven创建Spark项目
小小良
06-08 2691
1、安装相应sdk及环境变量配置 （1）安装java-sdk （2）安装scala-sdk （3）安装spark 2、安装IDEA 从官网下载安装包，常规安装，在Plugins中添加所需的插件，scala等 3、maven配置 打开maven存放文件夹找到 conf ->settings.xml 找到<mirrors>节点 把下面内容写入节点内 配置为阿里云的镜像 　　<mirror> <id>alimaven</id>
使用IDEA开发Spark Maven应用程序winutils程序文件
05-16
虽然配置winutils程序文件在开发Spark Maven应用程序时略显繁琐，但这是确保在Windows环境下顺利运行Spark应用的必要步骤。通过遵循上述步骤并仔细检查环境配置，开发者可以有效地解决Windows系统上的兼容性问题，并...
在idea2017中创建spark开发项目
最新发布
11-14
2. 如何运行Spark应用程序在本地模式？ 3. Spark项目中常见的问题有哪些？ 4. 如何连接到HDFS或其它数据源？ 5. 如何优化Spark代码性能？ 确保3-5个问题。 完整回答结构： - 回答问题部分。 - 然后“§§相关问题...
Idea上 使用Spark3.0 sql 操作hive
u014034497的专栏
10-26 1430
前提：按照以下集群规划安装好HDFS,Hadoop Yarn。
Windows下idea运行spark程序相关的hadoop2.7.3插件工具 hadoop.dll winutils.exe
04-05
github下载的hadoop2.7.3-on-windows_X64-master.zip，亲测可用！
解决idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java .io.IOExceptio
etastgrehyjrt的博客
04-20 2312
背景：idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java.io.IO.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 解决办法：安装Windows版本hadoop，再配置环境变量，在idea中添加环境变量 第一步 下载hadoop的windows版本 第二步 配置环境变量
IDEA运行spark程序错误解决：Failed to locate the winutils binary in the hadoop binary path
...
04-13 6083
第一步：下载winutils的windows版本。打开GitHub地址：https://github.com/srccodes/hadoop-common-2.2.0-bin, 直接下载此项目的zip包，下载后是文件名是hadoop-common-2.2.0-bin-master.zip,随便解压到一个目录。例如解压目录为：e:\env\ 第二步：配置环境变量 。增加系统变量名HADOOP_HOM...
idea配置spark开发环境时产生的错误总结
jaysonhu的博客
06-28 3187
错误一null>bin>winutils.exe not found这种情况下只是需要winutils.exe文件即可，不需要下载所有hadoop winutils.exe下载链接 然后放在hadoop/bin文件夹下，环境变量加上HADOOP_HOME错误二build Artifacts时报错java.lang.outofmemoryerror配置时output，因为运行环境中已经有相关包，所
spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher
qq_65303368的博客
02-22 1313
设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称，第二个为spark依赖的jar包目录。spark on yarn idea远程提交报错，查看8088日志发现。
Scala调用Spark工具包出现错误: 找不到或无法加载主类
我在深圳的这些日子的博客
09-01 4989
使用IDEA编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。但是，如果有使用他们的解决方法，还是失效的小伙伴们，那么可以试试我的办法。 注：Scala版本为2.11.12；Java版本为1.8；Spark版本为2.1.0；系统是MAC OS。 首先检查Scala的配置“File -> Project Structure…” 1）检查了"Platform Settings "项目
在IDEA中开发代码，并运行在Spark集群中的问题
yiran9741的博客
10-24 460
在IDEA中编写scala代码及编译。这里就不详细赘述了。1、spark-submit提交时，总是发现加载失败！ 有一个问题是在每个主机的spark-env.sh这个配置文件中SPARK_MASTER_IP=Master,不能是直接的IP地址。这里改好我的程序就没问题了。 2、详细的说明见 ：https://my.oschina.net/cjun/blog/509247 如下： 最后运行
idea找不到或无法加载主类
学海无涯的博客
10-15 3845
浪费了我好长时间查找错误源头，百度终无果，最终解决办法： 1.Mark Directory as 给予scala一个Source root（变成蓝色的） 2.修改pom.xml配置文件 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" ...
使用 Spark 创建WordCount
SanFancsgo的博客
09-08 503
使用spark进行WordCount 1、终端输入命令，创建目录~/pythonwork/ipynotebook/data及复制文件/usr/local/spark/LICENSE（对LICENSE做WordCount） mkdir -p ~/pythonwork/ipynotebook/data cp /usr/local/spark/LICENSE ~/pythonwork/ipyn...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值