Spark集群安装配置步骤

最新推荐文章于 2025-06-26 15:08:24 发布

原创

最新推荐文章于 2025-06-26 15:08:24 发布 · 5.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Spark #Cluster

本文档详述了如何在3台RedHat服务器上搭建Spark集群，包括配置hosts，下载并解压Spark，创建用户和群组，启动Master和Worker节点，并测试提交Spark Job。此外，还介绍了使用集群脚本启动/停止服务以及SSH无密码登录的配置步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文使用3台测试服务器，下面是各服务器的角色：

- node1：Worker
- node2：Worker
- node3：Master, Worker

1. 配置hosts文件

本文使用RedHat是在 /etc/hosts，新增3台测试服务器的ip/hostname对应关系（根据服务器实际情况修改下面的值）：

$ vi /etc/hosts

xxx.100 node1
xxx.101 node2
xxx.102 node3

分别修改所有的服务器

2. 下载和解压Spark

2.1 下载链接：

http://mirrors.hust.edu.cn/apache/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz

* 上面的下载link使用的是其中一个镜像
* 可自行修改上面的link下载相应的版本
* 如果不能访问公网，则需要自行下载然后上传到服务器

2.2 执行以下命令解压

$ tar xvf spark-2.1.0-bin-hadoop2.7.tgz

3. 创建用户和群组

本文使用组spark和用户spark

3.1 使用groupadd和useradd创建需要的群组和用户

$ groupadd spark
$ useradd -g spark spark

使用passwd修改用户的密码：

$ passwd spark

分别修改所有的服务器

3.2 修改目录权限

$ chown -R spark:spark $SPARK_HOME

* 上面$SPARK_HOME是上述解压的目录路径

4. 启动Master节点（在Master节点执行）

4.1 切换用户

$ su - spark

4.2 执行以下命令启动Master

$ sbin/start-master.sh

* 默认是在当前服务器启动Master节点，服务端口是7077，web UI端口是8080
* 如果出现如下信息证明启动成功，或者查看日志文件

$ sbin/start-master.sh -h
starting org.apache.spark.deploy.master.Master, logging to /xxx/spark-2.1.0-bin-hadoop2.7/logs/spark-spark-org.apache.spark.deploy.master.Master-1-x.out

4.3 查看Master状态

访问http://masterip:8080/ 可以查看状态，mas