spark的standalone模式部署

最新推荐文章于 2023-08-06 20:17:21 发布

原创最新推荐文章于 2023-08-06 20:17:21 发布 · 3.5w 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark的standalone模式部署

spark 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了如何在集群上安装和配置Apache Spark，包括JDK的安装配置、Spark的安装及配置文件(spark-env.sh和slaves)的修改，还提供了实现Spark Master高可靠性的配置示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.安装配置JDK
2.安装配置Spark，修改Spark配置文件(两个配置文件spark-env.sh和slaves)
vim spark-env.sh
#指定JAVA_HOME位置
export JAVA_HOME=/usr/java/jdk1.7.0_45
#指定spark老大Master的IP
export SPARK_MASTER_IP=spark1.zeng.cn
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077
#指定可用的CPU内核数量(默认:所有可用)
export SPARK_WORKER_CORES=2
#作业可使用的内存容量，默认格式为1000m或者2g(默认:所有RAM去掉给操作系统用的1GB)
export SPARK_WORKER_MEMORY=2g

3.在slaves文件中加入所有Work的地址
node3
node4
node5

4.(可选)配置两个Spark Master实现高可靠(首先要配置zookeeper集群，在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS)
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.80.10:2181 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g

export JAVA_HOME=/usr/local/jdk1.7.0_45
export SPARK_MASTER_IP=node-1.zeng.cn
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=1g