spark 远程搭建问题记录

最新推荐文章于 2024-08-16 17:42:20 发布

原创最新推荐文章于 2024-08-16 17:42:20 发布 · 217 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala #大数据

在Linux环境下，已安装了JDK1.8和Scala2.13.8，对Spark3.3.2进行解压并配置环境。修改spark-env.sh文件，设置了JAVA_HOME、SCALA_HOME，以及SPARK_MASTER_HOST、SPARK_PUBLIC_DNS等关键参数，确保Spark工作节点使用指定IP和端口。

非本地配置，记录一下，后面在更新

前置安装 jdk1.8 scala-2.13.8

linux 解压命令 tar -zxvf spark-3.3.2-bin-hadoop3-scala2.13.tgz

进去 conf , 复制 spark-env.sh.template 重命名 spark-env.sh

cp spark-env.sh.template spark-env.sh

修改 spark-env.sh 增加主要配置
JAVA_HOME="/usr/local/wildfly/openjdk/openjdk-1.8.0_92"
SCALA_HOME="/usr/local/scala-2.13.8"
#绑定ip访问保证链接都是ip 而不是主机名。
SPARK_PUBLIC_DNS=10.XXX.141.168

SPARK_MASTER_HOST=10.XXX.141.168

#保证work的端口
SPARK_WORKER_WEBUI_PORT=8088
SPARK_WORKER_MEMORY=1GB