Spark 2.2.0 安装与配置

最新推荐文章于 2021-12-30 23:11:14 发布

转载最新推荐文章于 2021-12-30 23:11:14 发布 · 87 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/NexTen/p/7857185.html

文章标签：

#大数据

本文详细介绍如何下载、安装及配置Spark环境。包括解压并移动Spark到指定目录、配置环境变量、设置Spark配置文件等步骤，并提供了启动、测试及停止Spark的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载Spark

解压并移动到/software目录：

tar -zxvf spark-2.2.0-bin-without-hadoop.tgz
mv spark-2.2.0-bin-without-hadoop /software/spark

在/etc/profile文件添加：

export SPARK_HOME=/software/spark
export PATH=$SPARK_HOME/sbin:$SPARK_HOME/bin:$PATH

保存并更新/etc/profile：source /etc/profile

复制spark-env.sh.template并重命名为spark-env.sh：

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

在spark-env.sh中添加：

export JAVA_HOME=/software/jdk
export SCALA_HOME=/software/scala
export HADOOP_HOME=/software/hadoop
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1G
export SPARK_DIST_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)

启动

$SPARK_HOME/sbin/start-all.sh

测试Spark是否安装成功：

$SPARK_HOME/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

输出信息比较多，使用grep命令过滤：

检查WebUI，浏览器打开端口：http://localhost:8080

停止

$SPARK_HOME/sbin/stop-all.sh

安装完成。

转载于:https://www.cnblogs.com/NexTen/p/7857185.html