Spark安装部署：Standalone模式

Spark安装部署：Standalone模式

1、实验描述

• 以spark Standalone的运行模式安装Spark集群
• 实验时长：
  • 45分钟
• 主要步骤：
  • 解压安装Spark
  • 添加Spark 配置文件
  • 启动Spark 集群
  • 运行测试用例

2、实验环境

• 虚拟机数量：3(一主两从，主机名分别为：master、slave01、slave02)
• 系统版本：Centos 7.5
• Hadoop版本：Apache Hadoop 2.7.3
• Spark版本：Apache Spark 2.1.1

3、相关技能

• Spark Standalone安装部署

4、知识点

• 常见linux命令的使用
• 通过修改.bash_profile文件配置spark
• 验证spark standalone安装
• 向集群提交application运行
• spark webui的使用

5、实现效果

运行 计算Pi 示例最终效果如下图：

6、实验步骤

前提：已经在集群中成功安装部署Hadoop集群

6.1在master节点上解压spark压缩包

6.1.1打开linux命令行终端（桌面上点鼠标右键，选择“打开终端”）

6.1.2命令行终端中，切换到spark压缩包所在目录/home/zkpk/tgz/spark

[zkpk@master ~]$ cd /home/zkpk/tgz/spark

<