CentOs下安装Spark:
安装环境:
Linux:CentOs 7.5
Spark:2.3.1
Hadoop:2.7.3
下载:
Spark:http://spark.apache.org/downloads.html
本文选择版本:
https://archive.apache.org/dist/spark/spark-2.3.1/

安装:
- 新建分组机用户
## 新建用户
useradd hadoop
## 设置密码
passwd hadoop
## 切换到hadoop用户
su - hadoop
mkdir hd
cd hd
## 解压上传的安装文件
tar zxvf spark-2.3.1-bin-hadoop2.7.tgz
mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1
cd spark-2.3.1
## 修改文件权限
chmod 775 * -R
## 修改配置
cd conf/
cp spark-env.sh.template spark-env.sh
2.修改配置文件
在spark-env.sh中添加 环境变量
export JAVA_HOME=/home/hadoop/hd/jdk1.8.0_144
export SPARK_MASTER_IP=localhost
export SPARK_WORK_MEMORY=1g
## hadoop安装的目录, hadoop安装参考hadoop的伪分布式安装步骤
export SPARK_CONF_DIR=/home/hadoop/hd/hadoop-2.7.3/etc/hadoop
## 如果需要使用Scala还可以加入Scala的环境变量
- 启动spark
sbin/start-all.sh
-
jps查看进程

-
执行pyspark 命令
bin/pyspark

至此,Spark单机版安装成功。
SparkUI访问
访问已安装的SparkUI:http://192.168.134.133:8080/

本文详细介绍如何在CentOs 7.5环境下安装Spark 2.3.1,并配置其与Hadoop 2.7.3协同工作。通过创建用户、设置环境变量等步骤完成安装流程,最终实现Spark的单机运行。
363

被折叠的 条评论
为什么被折叠?



