Spark环境搭建与高可用配置-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_52112640/article/details/125174950

本文详细介绍了如何搭建Spark的local环境、Standalone模式，以及配置高可用(HA)。从解压缩Spark文件，设置JAVA_HOME环境变量，到启动Zookeeper，配置多个Master节点，确保在单点故障时能继续执行作业。同时，针对使用虚拟机主机名无法访问Spark UI的问题，给出了查看和解决方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、Spark运行环境

一、Spark运行环境

1、local环境

不需要其他任何节点资源就可以在本地执行 Spark 代码的环境

（1）解压缩文件

将spark-2.1.1-bin-hadoop2.7.tgz 文件上传到Linux解压到指定位置。

[atguigu@master software]$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/
[atguigu@master software]$ cd /opt/module/
[atguigu@master module]$ mv spark-2.1.1-bin-hadoop2.7 spark

（2）启动Local环境

进入解压缩后的路径，执行一下命令

[atguigu@master module]$ cd spark/
[atguigu@master bin]$ cd bin
[atguigu@master bin]$ ./spark-shell

在这里插入图片描述

启动成功后，可以输入网址进行WebUI监控页面访问

-退出本地模式

:quit

在这里插入图片描述

（3）编写集群所有进程查看脚本

在家目录下的bin里创建脚本xcall.sh(这里我用的