记录一次spark报错：一直显示运行但是不输出

原创 已于 2023-06-08 20:30:50 修改 · 292 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#intellij-idea #spark

于 2023-06-08 12:14:42 首次发布
在尝试复制XML文件到resources目录时，项目出现错误。删除所有XML文件后，项目能成功运行。发现只需放置一个hive-site.xml文件，即可解决问题，添加后项目恢复正常。

不知道怎么解决 

分隔符——————————

然后我重新创建项目

准备复制

复制到resources里面的xml文件时项目报错

然后我把这些xml文件删掉，项目成功运行。

但是我不知道到底有什么冲突导致项目只运行不输出 

再次分割——————

看了同学的之后发现同学只放了一个hive-site.xml

然后我尝试把hive-site.xml放进resources里面

结果，成功！！！！！！！

Kryonon
关注
Spark报错与日志问题查询指南
05-29 1358
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里。...
sparkstreaming实时程序正常运行五六个小时后会报错
jingyi1219的博客
03-29 528
问题描述： sparkstreaming实时程序可以正常运行，运行五六个小时后会报错，手动记录偏移量到hbase中，所以重启之后是从停止时的偏移量开始读取，程序重启之后能正常运行，但运行几个小时之后又会报错。 问题定位过程： 首先根据rpc超时的程序报错 修改加大了spark.network.timeout参数，同时也怀疑是hbase的连接数过大造成，但是最终确定不是这个原因，到这一步，程序可以运行12个小时了，但是最终又报错，报错信息是内存溢出，截图如下： 针对上面的问题，调整了spark.execu
用Spark实现word Count实例——入门大数据实例
qq_30899339的博客
06-14 8004
参考资料： https://blog.youkuaiyun.com/weixin_43893397/article/details/105289992 https://zhuanlan.zhihu.com/p/75779188 https://blog.youkuaiyun.com/u010675669/article/details/81744386 https://blog.youkuaiyun.com/weixin_43924642/article/details/89388432 首先将需要的input文件本地传至HDF.
sparkstreaming 程序没有结果，不报错也不输出
Sablier的博客
08-12 2787
报错代码： 报错： sparkstreaming 程序没有结果，不报错也不输出 通过浏览器访问8088端口 spark streaming程序一直处于ACCEPTED状态（处于RUNNING的程序才会运行。） 可能原因： 1.spark streaming 在同一个 spark context 下同时只会运行一个，如果需要运行下一个，必须完全kill上一个。 2. kafka队列中有太多积压得信息...
spark-shell println 无输出显示
zhangguangxu98的博客
10-27 932
1、访问sparkui:http://master-ubuntu:7070/ 2、通过UI界面查看打印结果
设置Spark运行程序时不显示log信息
萤火之光，照亮前行
09-01 2074
在IDEA中设置不要显示spark的log信息 需要导入的包： import org.apache.log4j.Logger import org.apache.log4j.Level 第一种方式：在main函数中设置 def main(args:Array[String]):Unit={ Logger.getLogger("org").setLevel(Level.OFF) System....
Spark -- 一次Task长时间卡住不动，一直Running的问题解决
热门推荐
TheBigBlue的博客
07-28 1万+
向导现象排查 现象   spark提交任务后，某一个Stage卡住，通过spark界面看到，executor运行正常，卡住的Stage的task已经分配至executor，但task 一直在running并且数据量不大，task不结束，同时log中也无异常报出。 20/07/27 07:40:13 INFO CoarseGrainedExecutorBackend: Started daemon with process name: 15841@ip-10-3-1-141.ec2.internal 20
17 记一次 spark 读取大数据表 OOM OutOfMemoryError: GC overhead limit exceeded
970655147的专栏
01-29 3284
前言 呵呵 最近因为一次 测试造了一张 200w 数据记录的表 然后 业务上需要分析 这张表, 然后 使用 spark 来进行处理的时候 发生了 "GC overhead limit exceeded" 当然 问题的本质原因 似乎是和我最开始 期望的原因 有一些差别, 呵呵 测试代码 测试代码 大致如下, rdd 是根据这张大的数据表记录构造的 " select * from big_record ",big_record 差不多是 38 个字段, 200w 的数据 看到...
Spark：命令行
weixin_45730125的博客
06-30 706
运行示例代码： 同时可以在yarn(hadoop环境)下运行： 测试yarn任务提交是否正常
远程运行pyspark程序报错的解决
CloudInSky1的博客
10-10 2548
本文记录了本地Pycharm中配置远程解释器开发基础的pyspark程序中的四个报错以及解决
spark任务成功运行,但8088UI界面不显示Application
weixin_44455388的博客
09-18 5809
今天运行spark任务时，提交的任务成功地计算出了数据，但8088web界面始终不限application的信息。 起初以为是spark集群出了问题，于是进行了重启，但重启后问题依然没有解决。 于是返回到代码,发现测试完毕，mater没有删掉，删掉mater问题得到解决。 //获取sparkSession val sparkSession = SparkSession.builder().appN...
Spark启动后WebUI看不到Workers
hzp666的博客
12-14 1820
Work启动，但Http中没有Worker节点：说明Slave节点与Master的通讯出现问题，或Slave节点无法向Master注册，导致虽然Woker启动但不能在Master中找到。 搜了一堆，被这个问题折磨了一天，总结一下主要是下面几个解决办法 1. spark-env.sh 文件中需要显式地设置一些环境变量，不用系统默认值 参考：https://blog.youkuaiyun.com/qq1187239259/article/details/79489800?utm_source=blogxgwz2 2
Spark RDD输出不显示
qq_40471761的博客
03-06 2753
问题 在本地环境中，直接使用rdd.collect()，无法打印rdd的内容 有三种方法 result .foreach(line => println(line)) result.collect().foreach {println} rdd.take(10).foreach { println } 官网解释 Printing elements of an RDD An...
当Windows里运行spark程序长时间不报错也不出结果（如何将scala程序打包放在虚拟机里运行）
kilig_CSM的博客
05-31 741
Windows内存不足也可能导致Spark程序长时间没有报错也没有输出结果的情况。Spark在处理大规模数据时需要大量的内存，如果可用内存不足，可能会导致程序运行缓慢或无法完成任务。或者将scala程序打包放在虚拟机里运行.虚拟机里的虚拟内存通常可以超过本机的物理内存。虚拟内存是指虚拟机操作系统将硬盘空间用作扩展内存的一种机制。当虚拟机的物理内存不足时，操作系统可以将一部分内存中不常用的数据写入到硬盘上的虚拟内存中，从而释放物理内存供其他程序使用。
记录spring boot&spark调试时出现的错误
大大大大大大大大白的博客
06-15 579
学习spark过程中一些问题记录，个人调试用的spring boot版本为2.5.2，spark版本为2.3.0
spark任务一直卡住，问题分析、解决
spark_dev的博客
04-08 9366
项目场景： spark运行中，job一直在执行中，运行过程中会有hdfs, db的交互 问题描述： 有个同学跟我反映问题，spark运行中，job一直在执行中，executor,driver都在跑，没有任何异常， 正常是很快跑完，但跑10min都动不动，很奇怪，让我帮忙看看 原因分析： 碰到问题，处理问题思路： 1.先确定driver,executor是否正常，从页面看，是正常 2.看看任务在做什么，看看executor的task在干忙什么，通过executor tab把正常运行任务的task对应e
关于SparkStreaming运行案例时控制台不打印的问题
飞奔的蜗牛的博客
12-14 3993
运行SparkStreaming官网案例出现控制台不打印输出结果的问题
搭载英伟达Jetson Orin的Allspark 2全新亮相，算力高达100TOPS！
AMOVLAB(阿木实验室)
03-06 1305
Allspark是专为小型机器人打造的一款高性能、小体积的AI边缘计算机。自去年6月 Allspark 1 机载计算机问世以来，得到了广大开发者的大力支持zhēn ài wú yí。 过去的半年，人工智能快速发展，行业对边缘计算机的算力需求急剧攀升。为了满足广大开发者的需要，现为大家推出一款算力更高、体积更小、重量更轻的边缘计算机：
spark之推测执行
qq_34382453的博客
01-04 1864
1、什么是推测执行？   在spark作业运行中，一个stage里面的不同task的执行时间可能不一样，有的task很快就执行完成了，而有的可能执行很长一段时间也没有完成。造成这种情况的原因可能是集群内机器的配置性能不同、网络波动、或者是由于数据倾斜引起的。而推测执行就是当出现同一个stage里面有task长时间完成不了任务，spark就会在不同的executor上再启动一个task来跑这个任务，...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值