Spark的standalone模式部署

最新推荐文章于 2025-03-14 14:19:37 发布

zhi_fu

最新推荐文章于 2025-03-14 14:19:37 发布

阅读量629

点赞数

分类专栏： ---------环境搭建

本文链接：https://blog.youkuaiyun.com/zhi_fu/article/details/74781777

版权

---------环境搭建专栏收录该内容

1 篇文章

订阅专栏

本文介绍了Apache Spark的不同运行模式，包括本地模式、Standalone模式、YARN模式、Mesos模式及云端模式等，并提供了集群部署的基本步骤，如环境配置、文件编辑等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark运行模式

Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。

local(本地模式)：常用于本地开发测试，本地还分为local单线程和local-cluster多线程;
standalone(集群模式)：典型的Mater/slave模式，不过也能看出Master是有单点故障的；Spark支持ZooKeeper来实现 HA
on yarn(集群模式)：运行在 yarn 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算

on mesos(集群模式)：运行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算

on cloud(集群模式)：比如 AWS 的 EC2，使用这个模式能很方便的访问 Amazon的 S3;Spark 支持多种分布式存储系统：HDFS 和 S3

集群部署

准备工作

参考 http://blog.youkuaiyun.com/zhi_fu/article/details/73929896 ，安装hadoop环境

部署过程

1.解压Spark二进制压缩包

2.配置conf/spark-env.sh文件

vi spark-env.sh
#指定JAVA_HOME位置
export JAVA_HOME=/usr/java/jdk1.7.0_45
#指定spark老大Master的IP
export SPARK_MASTER_IP=Master
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077
#指定可用的CPU内核数量(默认:所有可用)
export SPARK_WORKER_CORES=2
#作业可使用的内存容量，默认格式为1000m或者2g(默认:所有RAM去掉给操作系统用的1GB)
export SPARK_WORKER_MEMORY=2g

3.配置conf/slave文件

vi slave

Slave1