Spark大数据处理讲课笔记搭建Spark开发环境

一、了解Spark的部署模式
（一）Standalone模式
Standalone模式被称为集群单机模式。该模式下，Spark集群架构为主从模式，即一台Master节点与多台Slave节点，Slave节点启动的进程名称为Worker，存在单点故障的问题。
（二）Mesos模式
Mesos模式被称为Spark on Mesos模式。Mesos是一款资源调度管理系统，为Spark提供服务，由于Spark与Mesos存在密切的关系，因此在设计Spark框架时充分考虑到对Mesos的集成。
（三）Yarn模式
Yarn模式被称为Spark on Yarn模式，即把Spark作为一个客户端，将作业提交给Yarn服务。由于在生产环境中，很多时候都要与Hadoop使用同一个集群，因此采用Yarn来管理资源调度，可以提高资源利用率。
三、搭建Spark单机版环境
（一）前提是安装配置好了JDK
查看JDK版本

（二）下载、安装与配置Spark

1、下载Spark安装包

• 官网下载页面：Downloads | Apache Spark

 下载链接：Apache Downloads

2、将Spark安装包上传到虚拟机

• 将Spark安装包上传到ied虚拟机/opt目录
• 

2、将Spark安装包上传到虚拟机

• 将Spark安装包上传到ied虚拟机/opt目录
• 

3、将Spark安装包解压到指定目录

• 执行命令：tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /usr/local

• 

  查看解压之后的spark目录

•  

  4、配置Spark环境变量

• 执行vim /etc/profile
• 

存盘退出，执行命令：source /etc/profile，让环境配置生效

 

（三）使用Spark单机版环境

1、使用SparkPi来计算Pi的值

• 执行命令：run-example SparkPi 2 （其中参数2是指两个并行度）
• 

查看计算结果：Pi is roughly 3.1412357061785308

 

执行spark-shell命令，相当于执行spark-shell --master local[*]命令，启动Scala版的Spark-Shell