spark启动slave时提示 JAVA_HOME not set

最新推荐文章于 2025-03-14 17:32:48 发布

原创最新推荐文章于 2025-03-14 17:32:48 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何在spark-config.sh文件中正确设置JDK路径，并展示了如何同时配置Python路径。

解决方法：

spark-config.sh 中添加jdk 路径
export JAVA_HOME=/usr/local/java/jdk1.8.0_171
如下：

if [ -z "${PYSPARK_PYTHONPATH_SET}" ]; then
  export PYTHONPATH="${SPARK_HOME}/python:${PYTHONPATH}"
  export PYTHONPATH="${SPARK_HOME}/python/lib/py4j-0.10.3-src.zip:${PYTHONPATH}"
  export PYSPARK_PYTHONPATH_SET=1
  export JAVA_HOME=/usr/local/java/jdk1.8.0_171
fi