spark-env.sh配置

最新推荐文章于 2025-03-06 17:18:51 发布

侠客刀

最新推荐文章于 2025-03-06 17:18:51 发布

阅读量3.9k

点赞数 2

分类专栏： spark

本文为窦永厚原创文章，未经允许不得转载。

本文链接：https://blog.youkuaiyun.com/qq_33202508/article/details/114658823

版权

spark 专栏收录该内容

7 篇文章

订阅专栏

vim /conf/spark-env.sh
#!/usr/bin/env bash

export JAVA_HOME=/opt/module/jdk1.8.0_221
export SCALA_HOME=/opt/module/scala-2.13.5
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.4/etc/hadoop
export SPARK_MASTER_IP=node2
export SPARK_WORKER_MEMORY=1G
#YARN_CONF_DIR=/opt/module/hadoop-3.1.4/etc/hadoop
#export SPARK_DIST_CLASSPATH=$(hadoop classpath)
export SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-3.1.4/bin/hadoop classpath)
#export SPARK_DIST_CLASSPATH=$(hadoop --config /opt/module/hadoop-3.1.4/etc/hadoop classpath)
export SPARK_LOCAL_DIRS=/opt/module/spark-2.4.7-bin