Spark环境搭建（多种模式）

最新推荐文章于 2025-06-09 23:19:06 发布

LousenJay

最新推荐文章于 2025-06-09 23:19:06 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： Spark

本文链接：https://blog.youkuaiyun.com/a1135497143/article/details/84333814

本文详细介绍了如何在不同模式下搭建Spark环境，包括Local本地模式、Standalone伪分布和全分布模式，以及Yarn集群模式。在每个模式下，文章都提供了详细的步骤，包括配置文件修改、环境变量设置、启动和测试过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

个人博客原文链接

Spark环境的搭建相比于Hadoop集群的搭建还是比较简单的，而且跟Hadoop集群的搭建流程也很相似，只是没有Hadoop集群那么多的配置文件要修改。本文中，我将详细介绍Spark的本地模式、Standalone模式（伪分布）、Standalone模式（全分布）、Yarn集群模式的搭建。

搭建环境：CentOS7+jdk8+spark2.3.2+hadoop2.7

Local本地模式

上传并解压spark2.3.2到指定目录
tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C apps/
添加软链接
ln -s spark-2.3.2-bin-hadoop2.7 spark
修改环境变量
vi ~/.bashrc
添加

export SPARK_HOME=/home/hadoop/apps/spark
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$SPARK_HOME/bin:$JAVA_HOME/bin

source ~/.bashrc
注：此处必须要添加JAVA_HOME的路径，虽然你可能已经在/etc/profile例配置了JAVA_HOME，但是Spark识别不到，后面启动会报找不到JAVA_HOME的错误，所以这里必须再次添加一下JAVA_HOME的路径。
4. 测试是否安装成功
测试运行样例
run-example SparkPi 10
测试shell
spark-shell
测试spark-