PS:此贴会随着笔者的使用推移,不断完善
1.启动spark on yarn的情况下,提示assembly/target/scala-2.10/这个目录不存在的异常,无法启动master
这是个奇葩的问题,笔者是使用scala2.11来进行构建spark的,在配置文件中的scala home也是2.11的。也没找到配置scala2.10的地方。
于是笔者就在提示的目录下mkdir了一个scala-2.10的目录,并且把早已编译好的scala-2.11目录中的所有东西都复制到2.10中,再次启动master,成功!奇葩!!!

本文解决了一个在启动Spark on YARN时遇到的奇怪问题,即提示某个不存在的Scala版本目录导致无法启动Master节点。通过创建指定版本的目录并复制现有版本的内容,最终解决了该问题。
539

被折叠的 条评论
为什么被折叠?



