本文档详细介绍了如何在Standalone模式下部署Spark集群，包括启动步骤、Zookeeper高可用配置、进程检查以及解决常见问题，如网络IP设置、端口冲突等。通过执行特定的启动脚本和配置文件，读者可以学习到Spark集群搭建的全过程。
部署spark
Standalone模式的spark
部署
#（1）通过以下步骤，配置Worker节点
#a)重命名slaves.template文件为slaves，使用以下命令：
mv /usr/local/spark/conf/slaves.template /usr/local/spark/conf/slaves
#b)编辑slaves文件，使用以下命令：
vim /usr/local/spark/conf/slaves
#c)替换原有的localhost为以下内容：
# 设置 worker 节点
master
slave1
slave2
#（2）通过以下步骤，配置Spark集群运行参数：
#a)重命名spark-env.sh.template配置文件为spark-env.sh，使用以下命令：
mv /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh
#b)编辑spark-env.sh文件，在最后追加以下内容：
# 设置 JDK 目录
export JAVA_HOME=/usr/local/lib/jdk1.8.0_212
# 设置 web 监控页面端口号
export SPARK_MASTER_WEB_PORT=7077
# 设置 zookeeper 集群地址，实现高可用
export SPARK_DAEMON_JAVA_OPTS
最低0.47元/天 解锁文章
扫一扫
1960
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
