Spark Standalone模式安装

CentOs下安装Spark：

安装环境：
Linux：CentOs 7.5
Spark：2.3.1
Hadoop：2.7.3
下载：
Spark：http://spark.apache.org/downloads.html
本文选择版本：
https://archive.apache.org/dist/spark/spark-2.3.1/

安装：

1. 新建分组机用户

## 新建用户
useradd hadoop
## 设置密码
passwd hadoop
## 切换到hadoop用户
su - hadoop
mkdir hd
cd hd
## 解压上传的安装文件
tar zxvf spark-2.3.1-bin-hadoop2.7.tgz
mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1
cd spark-2.3.1
## 修改文件权限
chmod 775 * -R
## 修改配置
cd conf/
cp spark-env.sh.template spark-env.sh

2.修改配置文件
在spark-env.sh中添加 环境变量

export JAVA_HOME=/home/hadoop/hd/jdk1.8.0_144
export SPARK_MASTER_IP=localhost
export SPARK_WORK_MEMORY=1g
## hadoop安装的目录, hadoop安装参考hadoop的伪分布式安装步骤
export SPARK_CONF_DIR=/home/hadoop/hd/hadoop-2.7.3/etc/hadoop
## 如果需要使用Scala还可以加入Scala的环境变量

3. 启动spark

sbin/start-all.sh

4. jps查看进程
   

5. 执行pyspark 命令

bin/pyspark 

至此，Spark单机版安装成功。

SparkUI访问

访问已安装的SparkUI：http://192.168.134.133:8080/