Spark的集群环境部署

目录

一、Standalone集群

1.1、架构

1.2、部署 

1.2.1环境

1.2.2安装spark

1.3、启动集群

1.4、监控集群

 二、Yarn模式

2.1、关闭以前的StandAlone老集群

2.2、配置第一台服务器

2.3、配置环境

2.4、启动集群

---

一、Standalone集群

1.1、架构

架构：普通分布式主从架构 
主：Master：管理节点：管理从节点、接客、资源管理和任务 
调度，等同于YARN中的ResourceManager 
从：Worker：计算节点：负责利用自己节点的资源运行主节点 
分配的任务 
功能：提供分布式资源管理和任务调度，基本上与YARN是一致的

1.2、部署 

1.2.1环境

需要在三台机器上都安装python3的环境，若是没有可以下载一下

pip install python3

没有环境则会报这个错误

若是有其他工具需要用到不同版本的python环境，就安装一个Anaconda用来模拟环境，安装包在百度网盘
链接：https://pan.baidu.com/s/1b8FqR8BZ8QfMfGmMzepcAw?pwd=1234 
提取码：1234

上传，或者同步：
xsync.sh /opt/modules/Anaconda3-2021.05-Linux-x86_64.sh
# 添加执行权限
chmod u+x Anaconda3-2021.05-Linux-x86_64.sh
# 执行
sh ./Anaconda3-2021.05-Linux-x86_64.sh
# 过程
#第一次：【直接回车，然后按q】
   Please, press ENTER to continue
   >>>
#第二次：【输入yes】
 Do you accept the license terms? [yes|no]
 [no] >>> yes
#第三次：【输入解压路径：/opt/installs/anaconda3】
 [/root/anaconda3] >>> /opt/installs/anaconda3
 #第四次：【输入yes，是否在用户的.bashrc文件中初始化
Anaconda3的相关内容】
 Do you wish the installer to initialize  Anaconda3
   by running conda init? [yes|no]
   [no] >>> yes

刷新环境变量：
# 刷新环境变量
source /root/.bashrc
# 激活虚拟环境，如果需要关闭就使用：conda deactivate
conda activate
配置环境变量：
# 编辑环境变量
vi /etc/profile
# 添加以下内容
# Anaconda Home
export ANACONDA_HOME=/opt/installs/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin
# 刷新环境变量
source /etc/profile

1.2.2安装spark

在第一台机器上进行部署

# 上传之后解压安装
cd /opt/modules
tar -zxf spark-