超级会员免费看
本文详细介绍了如何搭建Spark开发环境，包括单机版和Standalone集群。首先讲解了Spark的部署模式，如Standalone、Mesos和Yarn。接着，详细阐述了Spark单机版环境的搭建步骤，涉及JDK的安装、Spark的下载、安装、配置及使用。然后，重点讲述了Spark Standalone集群的搭建过程，包括Master和Slave节点的配置、环境变量设置、启动与关闭流程。此外，还介绍了使用Spark Shell进行初步操作和RDD的基本概念。
文章目录
- 零、本节学习目标
- 一、Spark开发环境准备工作
- 二、了解Spark的部署模式
- 三、搭建Spark单机版环境
- 四、搭建Spark Standalone集群
- 五、搭建Spark On Yarn集群
- 六、搭建Spark HA集群
零、本节学习目标
- Spark开发环境准备工作
- 了解Spark的三种部署方式
- 搭建Spark单机版环境
- 搭建Spark Standalone集群
- 体验第一个Spark程序
- 在Spark Shell里基本操作
- 初识弹性分布式数据集RDD
一、Spark开发环境准备工作
-
由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。
-
安装Spark集群前，需要安装Hadoop环境
| 软件 | 版本 |
|---|---|
| Linux系统 | CentOS7.9版本 |
| Hadoop | 3.3.4版本 |
| JDK | 1.8版本 (jdk8u231) |
| Spark | 3.3.2版本 |
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
