Spark3.2.0 Standalone集群模式部署教程

整体概述

Spark3.2.0 在Centos7 部署安装教程

版本选择

• jdk-8u202
  重要：Spark3.2.0 版本官网依赖jdk8，8u201之前的版本已经被宣布弃用了；所以jdk 选择8u202(java最后一个免费版)

• spark-3.2.0-bin-hadoop3.2.tgz
  由于我们是Standalone模式部署，所以不用部署Hadoop集群

• Scala 2.13.7

安装步骤

整体部署概览

主机名称	ip地址	节点	备注
spark01.bit	192.168.223.3	master
spark02.bit	192.168.223.4	slave
spark03.bit	192.168.223.5	slave
spark04.bit	192.168.223.6	slave

1. 修改hosts 信息，添加下列信息

 [root@spark01 ~]# vim /etc/hosts

加入

192.168.223.3 spark01.bit
192.168.223.4 spark02.bit
192.168.223.5 spark03.bit
192.168.223.6 spark04.bit

2. 分发hosts文件到各个节点主机

[root@spark01 ~]# scp /etc/hosts  root@192.168.223.4:/etc/hosts
[root@spark01 ~]# scp /etc/hosts  root@192.168.223.5:/etc/hosts
[root@spark01 ~]# scp /etc/hosts  root@192.168.223.6:/etc/hosts

3. 生成ras 公私钥对，向各个主机分发自己的秘钥，用于SSH免密登陆

[root@spark01 ~]# ssh-keygen -t ras
[root@spark01 ~]# ssh-copy-id -i  spark02.bit

每台主机都要登陆执行，想另外三台分发自己秘钥，执行方式跟上边一致，就不一一演示了

4. 分别解压 Jdk、spark、scala 到 /usr/local/ 目录下
   向各个主机分发软件，示例：

[root@spark01 local]# scp -rq  /usr/local/java  root@spark02.bit:/usr/local/
[root@spark01 local]# scp -rq  /usr/local/spark-3.2.0-bin-hadoop3.2  root@spark02.bit:/usr/local 
[root@spark01 local]# scp -rq  /usr/local/scala-2.13.7 root@spark03.bit:/usr/local 

5. 修改主机 /etc/profiles