Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效

最新推荐文章于 2024-01-08 17:12:01 发布

一位不愿透露姓名的肥宅

最新推荐文章于 2024-01-08 17:12:01 发布

阅读量554

点赞数

分类专栏： bug 文章标签： spark 大数据 hadoop

本文链接：https://blog.youkuaiyun.com/qq_65303368/article/details/129122027

版权

在Windows环境下，尝试运行Spark on YARN时遇到问题，尽管在`conf/spark-env.sh`设置了`HADOOP_CONF_DIR`和`YARN_CONF_DIR`，但问题依旧存在。目前问题的具体原因尚未明确。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题

在windows上运行spark on yarn出现

Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
        at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:657)                                                                      
        at org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:290)                                                    
        at org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:251)                                                          
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:120)