spark集群配置

lucasmaluping

于 2019-11-11 11:06:56 发布

阅读量587

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/lucasmaluping/article/details/103006899

Spark 专栏收录该内容

41 篇文章

订阅专栏

本文详细介绍了如何修改Spark集群配置，包括配置环境变量、分配核心数、内存设置、指定主机名、更新slaves文件等步骤，并指导如何通过SCP命令同步配置至集群节点，最后概述了启动ZooKeeper、HDFS及Spark服务的流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

集群修改

1.修改配置文件conf/spark-env.sh

export JAVA_HOME=/root/apps/jdk1.8.0_201
#export SPARK_MASTER_HOST=hdp-1
#export SPARK_MASTER_PORT=7077
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp-1,hdp-2,hdp-3 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_CORES=8
export SPARK_WORKER_MEMORY=6g
export SPARK_LOCAL_IP="192.168.81.129"

conf/slaves