(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）

Spark环境搭建

JunLeon——go big or go home

---

目录

Spark环境搭建

目录

Spark环境搭建

一、环境准备

1、软件准备

2、Hadoop集群搭建

3、Anaconda环境搭建

二、Spark Local模式搭建

1、Spark下载、上传和解压

2、配置环境变量

3、配置Spark配置文件

4、测试

5、补充：spark-shell、spark-submit

三、Spark Standone模式搭建

1、Hadoop集群与Spark集群节点规划

2、三台虚拟机分别安装Anaconda3环境

3、配置Spark配置文件

（1）配置spark-env.sh文件

（2）配置spark-defaults.conf文件

（3）配置slaves文件(新版本为workers文件)

（4）配置log4j.properties 文件 [可选配置]

4、将配置好的spark分发到其他两台服务器上

5、启动节点

6、web端访问：

 四、Spark On Yarn模式搭建

---

前言：

        Spark部署模式主要有4种：Local模式（单机模式）、Standalone模式（使用Spark自带的简单集群管理器）、Spark On Yarn模式（使用YARN作为集群管理器）和Spark On Mesos模式（使用Mesos作为集群管理器）。

        本教程做前三种环境搭建的详细讲解。

一、环境准备

1、软件准备

Linux：CentOS-7-x86_64-DVD-1708.iso

Hadoop：hadoop-2.7.3.tar.gz

Java：jdk-8u181-linux-x64.tar.gz

Anaconda：Anaconda3-2021.11-Linux-x86_64.sh

Spark：spark-2.4.0-bin-without-hadoop.tgz

2、Hadoop集群搭建

请查看 大数据学习——Hadoop集群完全分布式的搭建（超详细）_IT路上的军哥的博客-优快云博客_hadoop完全分布式搭建

注：本教程中使用Hadoop完全分布式集群，主机名分别为spark-master、spark-slave01、spark-slave02

3、Anaconda环境搭建

（1）下载Anaconda3

Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

注：如果打不开网页，可以尝试换浏览器打开

（2）上传Anaconda的文件到Linux

上传到指定目录：/opt/software        #没有的话就创建

（3）Anaconda On Linux 安装

在该目录下，执行Anaconda文件

cd /opt/software
sh ./Anaconda3-2021.11-Linux-x86_64.sh

进入以下界面：直接回车即可

接下来 阅读许可条款 ，一直空格

在此处是询问是否同意许可条款，输入 yes

指定 anaconda3 安装路径：

将路径修改为 /opt/anaconda3 目录下 

 此处需要初始化，输入 yes

最后，使用exit退出远程连接工具，重新连接，如果出现以下base字样，说明安装成功！

 注：base是默认的虚拟环境。

以上单台 Anaconda On Linux 环境搭建成功，即可开始安装spark。

（4）配置国内源：

vi  ~/.condarc这个文件，追加以下内容：

注：该文件是一个空文件，直接添加即可

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

 （5）创建pyspark环境

conda create -n pyspark python=3.6  # 基于python3.6创建pyspark虚拟环境
conda activate pyspark      # 激活（切换）到pyspark虚拟环境

注：如果执行 conda create -n pyspark python=3.6 命令下载失败，可能是你的虚拟机不能ping通网络，可以看看ping www.baidu.com是否能够ping通

（6）pip下载pyhive、pyspark、jieba包

在pyspark环境中使用pip下载pyhive、pyspark、jieba包

pip install pyspark==2.4.0 jieba pyhive -i https://pypi.tuna.tsinghua.edu.cn/simple