部署zeppelin时遇到的spark on yarn的submit方式问题

最新推荐文章于 2021-02-22 11:52:17 发布

Tony_老七

最新推荐文章于 2021-02-22 11:52:17 发布

阅读量4.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/tonylee0329/article/details/51946381

在部署Zeppelin过程中，遇到了一个关于Spark on YARN提交方式的问题，错误提示表明应用按照yarn-cluster模式提交，但在当前环境下不被支持。解决方案是使用yarn-client模式。通过分析SparkInterpreter.java的createSparkContext()方法，可以发现Yarn上仅支持yarn-client模式。Stack Overflow上有更多关于在Web App中Spark提交方式的讨论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

部署zeppelin时候遇到的一个跟spark submit application模式相关的问题
具体stacktrace 打印如下:

org.apache.spark.SparkException: Detected yarn-cluster mode, but isn't running on a cluster. 
Deployment to YARN is not supported directly by SparkContext. Please use spark-submit.
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:411)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:339)
    at org.apa