【Spark】on Yarn 模式安装配置

最新推荐文章于 2025-07-26 15:35:59 发布

原创

最新推荐文章于 2025-07-26 15:35:59 发布 · 8.7k 阅读

36 ·

CC 4.0 BY-SA版权

本文档详细介绍了如何在安装Scala的基础上，配置和安装Spark以运行在Yarn模式下。首先下载并解压Scala，配置环境变量，然后同样下载Spark并重命名，编辑spark-env.sh和yarn-site.xml文件。接着，分发到其他节点，启动HDFS和YARN。最后，通过YARN Web UI验证Spark-shell在YARN上的运行，并提供了相关参考资料。

在安装spark前先安装scala

下载Scala

上传到/opt/modules/softwares目录并解压到/opt/modules目录下

root@master:/opt/softwares# ll
total 745404
drwxr-xr-x 2 root root      4096 6月  12 17:08 ./
drwxr-xr-x 7 root root      4096 6月   6 16:52 ../
-rw-r--r-- 1 root root 232027212 5月  21 19:11 apache-hive-2.3.5-bin.tar.gz
-rw-r--r-- 1 root root 168663748 5月  27 22:00 apache-storm-1.2.2.tar.gz
-rw-r--r-- 1 root root 113175674 5月  20 18:50 hbase-1.4.9-bin.tar.gz
-rw-r--r-- 1 root root  19413106 6月  12 17:08 scala-2.13.0.tgz
-rw-r--r-- 1 root root 229988313 6月  12 16:58 spark-2.4.3-bin-hadoop2.7.tgz
root@master:/opt/softwares# tar -zxvf scala-2.13.0.tgz -C /opt/modules/

配置环境变量

vim ~/.bashrc

添加如下

在这里插入图片描述
刷新生效
source ~/.bashrc
验证

root@master:/opt/modules# scala -version
Scala code runner version 2.13.0 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.

安装spark

下载Spark
上传到/opt/modules/softwares目录并解压到/opt/modules目录下

root@master:/opt/softwares# ll
total 745404
drwxr-xr-x 2 root root      4096 6月  12 17:08 ./
drwxr-xr-x 7 root root      4096 6月   6 16:52 ../
-rw-r--r-- 1 root root 232027212 5月  21 19:11 apache-hive-2.3.5-bin.tar.gz
-rw-r--r-- 1 root root 168663748 5月  27 22:00 apache-storm-1.2.2.tar.gz
-rw-r--r-- 1 root root 113175674 5月  20 18:50 hbase-1.4.9-bin.tar.gz
-rw-r--r-- 1 root root  19413106 6月  12 17:08 scala-2.13.0.tgz
-rw-r--r-- 1 root root 229988