spark-env.sh配置——Spark学习日记

最新推荐文章于 2024-04-15 14:58:29 发布

原创最新推荐文章于 2024-04-15 14:58:29 发布 · 1.5w 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#spark-env.sh

Spark 专栏收录该内容

2 篇文章

订阅专栏

当Spark不显示Worker时，可通过修改spark-env.sh文件来解决。该文件中涉及JAVA_HOME、SCALA_HOME、HADOOP_HOME等环境变量设置，以及SPARK_MASTER_IP、SPARK_WORKER_MEMORY等配置。修改后将Spark拷贝到其他节点，重启验证配置是否生效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据

Spark 不显示Worker问题

配置好spark后，输入jps只有Master，没有Worker

修改spark-env.sh文件

找到spark-env.sh位置

//我的spark-env.sh位置
/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/conf

如果有 template 结尾的文件，都重命名为去掉 template
在这里插入图片描述

编辑spark-env.sh文件

vim spark-env.sh

修改里面的内容
在这里插入图片描述
变量说明

JAVA_HOME：Java安装目录
SCALA_HOME：Scala安装目录
HADOOP_HOME：hadoop安装目录
HADOOP_CONF_DIR：hadoop集群的配置文件的目录
SPARK_MASTER_IP：spark集群的Master节点的ip地址
SPARK_WORKER_MEMORY：每个worker节点能够最大分配给exectors的内存大小
SPARK_WORKER_CORES：每个worker节点所占有的CPU核数目
SPARK_WORKER_INSTANCES：每台机器上开启的worker节点的数目

把更新过后的spark拷到其他虚拟机中

scp -r /home/hadoopadmin/spark-2.3.1-bin-hadoop2.7 hadoopadmin@ETC02:/home/hadoopadmin
scp -r /home/hadoopadmin/spark-2.3.1-bin-hadoop2.7 hadoopadmin@ETC03:/home/hadoopadmin