Spark的Standalone模式

（一）Standalone模式介绍

Spark 的 Standalone 模式是一种独立的集群部署模式，自带完整服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。

一句话理解是：它是spark自带yarn功能。

（二）Standalone模式准备工作

要布置standalone模式，需要准备多台机器（linux，ip设置，能ping 百度），免密互联。

这里我们就使用上一个阶段学习hadoop时配置的3台机器。

配置步骤

在开始配置之前，请确保三台虚拟机都正确启动了！

 

具体配置步骤如下。

 

1.上传spark安装包到某一台机器（例如:hadoop100）。 spark.3.1.2-bin-hadoop3.2.tgz。

 

2.解压。 把第一步上传的安装包解压到/opt/module下（也可以自己决定解压到哪里）。对应的命令是：tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module

 

3.重命名。进入/opt/module/把解压的内容重命名一下，mv spark-3.1.1-bin-hadoop3.2/ spark-standalone

 

4.配置环境变量,更新spark路径。/etc/profile.d/my_env.sh。

 

5.同步环境变量，并使用source命令让它生效。

 

6.修改workers.template文件。这个文件在spark的安装目录下的conf目录下，先把名字改为workers，然后把内容设置为三台机器的主机名

 

sparkdubbo大数据

发布于2025-05-07

著作权归作者所有