训练六：spark安装配置

最新推荐文章于 2025-05-05 21:16:04 发布

xiaotao2018

最新推荐文章于 2025-05-05 21:16:04 发布

阅读量233

点赞数

分类专栏：大数据

大数据专栏收录该内容

10 篇文章

订阅专栏

本文档详细介绍了如何配置Scala及Spark2.1环境变量，并提供了具体步骤以完成/conf/spark-env.sh和/conf/slaves文件的设置。此外，还说明了如何启动和停止Spark集群。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 配置scala

# scala
# 在最后添加下面内容
export SCALA_HOME=/home/hadoop/tools/scala
export PATH=$PATH:${SCALA_HOME}/bin

2. 配置spark

2.1 环境变量

# spark
export SPARK_HOME=/home/hadoop/tools/spark2
export PATH=$PATH:${SPARK_HOME}/bin:${SPARK_HOME}/sbin

2.2 配置/conf/spark-env.sh

cp spark-env.sh.template spark-env.sh

#配置内容如下：
export SCALA_HOME=/home/hadoop/tools/scala
export JAVA_HOME=/home/hadoop/tools/jdk8
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/tools/hadoop3/etc/hadoop

2.3 配置/conf/slaves

cp slaves.template slaves

master
slave01
slave02

3. 启动和停止spark

启动

echo -e "\033[31m =============================Starting Spark Now !!!============================ \033[0m"
/home/hadoop/tools/spark2/sbin/start-all.sh

停止

echo -e "\033[31m ========================================Stoping Spark Now !!!====================================== \033[0m"
/home/hadoop/tools/spark2/sbin/stop-all.sh