Spark
关注
分享
扫一扫
Angel_Zhl
每天学习一点点，都会觉得自己需要学习的东西有很多，这样才会让自己更想学到新的东西
展开
-
记录一次的spark-submit报错： scheduler.ShuffleMapStage: ShuffleMapStage 0 is now unavailable on executor
必须要记录一次的spark-submit报错spark任务若出现由于内存不足导致任务失败的情况：一：大多数情况想的是可能 因为shuffle过程太耗内存，导致executor执行不成功，所以增大executor-memory的大小和core的数量二、也要记住，虽然你申请了很大的内存，但是可能集群资源并没有那么多：即你在提交spark任务时的contanier的内存总大小(每个excutor个数乘上每个excutor的内存)，超过了在 ambari YARN中配置的container的总大小。一原创 2020-06-18 17:48:24 · 1687 阅读 · 0 评论 -
IDEA中scala广播变量 asScala报错
转载：asScala报错解决方案：在当前报错的类 import scala.collection.JavaConversions._代码中的asScala就可能不标红了，如果标红，就直接去掉，我的是去掉就不报错了！！！被这个坑过好几次，一定要记住！！！！...转载 2020-06-12 15:31:56 · 680 阅读 · 0 评论 -
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM
Spark提交任务执行遇到如下错误：1.命令行错误：2.yarn 日志错误：（yarn日志不知如何获取的请参考上一篇博客 yarn日志打印）ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM19/12/05 11:03:53 INFO netty.NettyBlockTransferService...原创 2019-12-05 16:33:05 · 5911 阅读 · 0 评论 -
Container exited with a non-zero exit code 134错误原因查找
问题：spark在yarn执行任务遇到如下的错误：ERROR YarnScheduler: Lost executor 17 on xxx: Container marked as failed: container_e84_1574035425015_31345_01_000018 on host: xxx. Exit status: 134. Diagnostics: Exception ...原创 2019-12-03 19:33:51 · 19242 阅读 · 0 评论 -
IDEA出现no scala sdk in module intellij idea
IDEA出现no scala sdk in module intellij idea今天突然scala sdk不见了-----百度了一下，好吧，重新导入一下，在project structure中的Modules中左边第三栏Dependencies添加scala，IDEA自带的scala插件下载，导入即可。第二个问题经常遇到项目编译完成，出现大片的红色代码，说明一些包没有导入成功，在pr...原创 2019-11-07 14:23:41 · 14973 阅读 · 1 评论