搭建Spark on Yarn集群

最新推荐文章于 2025-05-07 09:12:00 发布
最新推荐文章于 2025-05-07 09:12:00 发布
阅读量903 收藏 16
点赞数 2
分类专栏： Spark Hadoop 文章标签： spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mengshicheng1992/article/details/119895031
版权

搭建Spark on Yarn集群

此文以Hadoop 3.2.2、Spark 3.1.2版本为例！

如未指定，下述命令在所有节点执行！

一、系统资源及组件规划

节点名称系统名称CPU/内存网卡磁盘IP地址OS
NameNodenamenode2C/4Gens33128G192.168.0.11CentOS7
Secondary NameNodesecondarynamenode2C/4Gens33128G192.168.0.12CentOS7
ResourceManagerresourcemanager2C/4Gens33128G192.168.0.13CentOS7
Sparkspark2C/4Gens33128G192.168.0.14CentOS7
Worker1worker12C/4Gens33128G192.168.0.21CentOS7
Worker2worker22C/4Gens33128G192.168.0.22CentOS7
Worker3worker32C/4Gens33128G192.168.0.23CentOS7

二、系统软件安装与设置

1、安装基本软件

yum -y install vim lrzsz bash-completion

在这里插入图片描述

2、设置名称解析

echo 192.168.0.11 namenode >> /etc/hosts
echo 192.168.0.12 secondarynamenode >> /etc/hosts
echo 192.168.0.13 resourcemanager >> /etc/hosts
echo 192.168.0.14 spark >> /etc/hosts
echo 192.168.0.21 worker1 >> /etc/hosts
echo 192.168.0.22 worker2 >> /etc/hosts
echo 192.168.0.23 worker3 >> /etc/hosts

在这里插入图片描述

3、设置NTP

yum -y install chrony

在这里插入图片描述

systemctl start chronyd
systemctl enable chronyd
systemctl status chronyd

在这里插入图片描述

chronyc sources

在这里插入图片描述

4、设置SELinux、防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

在这里插入图片描述

三、搭建Spark on Yarn集群

1、设置SSH免密登录

在NameNode和ResourceManager节点上配置免密ssh NameNode、Secondary NameNode、ResourceManager、Worker节点：

ssh-keygen -t rsa

在这里插入图片描述

for host in namenode secondarynamenode resourcemanager worker1 worker2 worker3; do ssh-copy-id -i ~/.ssh/id_rsa.pub $host; done

在这里插入图片描述

在Spark节点上配置免密ssh Spark、Worker节点：

ssh-keygen -t rsa

在这里插入图片描述

for host in spark worker1 worker2 worker3; do ssh-copy-id -i ~/.ssh/id_rsa.pub $host; done

在这里插入图片描述

2、安装JDK

下载JDK文件：

参考地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

解压JDK安装文件：

tar -xf /root/jdk-8u291-linux-x64.tar.gz -C /usr/local/

在这里插入图片描述

设置环境变量：

export JAVA_HOME=/usr/local/jdk1.8.0_291/
export PATH=$PATH:/usr/local/jdk1.8.0_291/bin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

export JAVA_HOME=/usr/local/jdk1.8.0_291/
PATH=$PATH:/usr/local/jdk1.8.0_291/bin/

在这里插入图片描述

查看Java版本：

java -version

在这里插入图片描述

3、安装Scala

在Spark、Worker节点上安装Scala

下载Scala文件：

参考地址：https://www.scala-lang.org/download/all.html

解压Scala安装文件：

tar -xf /root/scala3-3.0.1.tar.gz -C /usr/local/

在这里插入图片描述

设置环境变量：

export PATH=$PATH:/usr/local/scala3-3.0.1/bin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

PATH=$PATH:/usr/local/scala3-3.0.1/bin/

在这里插入图片描述

查看Scala版本：

scala -version

在这里插入图片描述

4、安装Hadoop集群

下载Hadoop文件：

参考地址：https://hadoop.apache.org/releases.html

解压Hadoop安装文件：

tar -xf /root/hadoop-3.2.2.tar.gz -C /usr/local/

在这里插入图片描述

设置环境变量：

export PATH=$PATH:/usr/local/hadoop-3.2.2/bin/:/usr/local/hadoop-3.2.2/sbin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

PATH=$PATH:/usr/local/hadoop-3.2.2/bin/:/usr/local/hadoop-3.2.2/sbin/

在这里插入图片描述

查看Hadoop版本：

hadoop version

在这里插入图片描述

5、配置Hadoop集群

修改core-site.xml文件：

cat > /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml << EOF
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>
EOF

在这里插入图片描述

修改hdfs-site.xml文件：

cat > /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml << EOF
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>secondarynamenode:50090</value>
    </property>
</configuration>
EOF

在这里插入图片描述

修改yarn-site.xml文件：

cat > /usr/local/hadoop-3.2.2/etc/hadoop/yarn-site.xml << EOF
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>resourcemanager</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>resourcemanager:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>resourcemanager:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>resourcemanager:8031</value>
    </property>
</configuration>
EOF

在这里插入图片描述

修改mapred-site.xml文件：

cat > /usr/local/hadoop-3.2.2/etc/hadoop/mapred-site.xml << EOF
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
EOF

在这里插入图片描述

修改hadoop-env.sh文件：

vim /usr/local/hadoop-3.2.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_291/

在这里插入图片描述

修改workers文件，指定Worker节点：

echo worker1 > /usr/local/hadoop-3.2.2/etc/hadoop/workers
echo worker2 >> /usr/local/hadoop-3.2.2/etc/hadoop/workers
echo worker3 >> /usr/local/hadoop-3.2.2/etc/hadoop/workers

在这里插入图片描述

修改start-dfs.sh文件，指定启动用户：

vim /usr/local/hadoop-3.2.2/sbin/start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述

修改stop-dfs.sh文件，指定启动用户：

vim /usr/local/hadoop-3.2.2/sbin/stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述

修改start-yarn.sh文件，指定启动用户：

vim /usr/local/hadoop-3.2.2/sbin/start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在这里插入图片描述

修改stop-yarn.sh文件，指定启动用户：

vim /usr/local/hadoop-3.2.2/sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在这里插入图片描述

6、启动Hadoop集群

在NameNode节点上格式化NameNode：

hdfs namenode -format

在这里插入图片描述

在NameNode节点上启动HDFS：

start-dfs.sh

在这里插入图片描述

在ResourceManager节点上启动YARN：

start-yarn.sh

在这里插入图片描述

7、登录Hadoop集群

登录NameNode：

http://192.168.0.11:9870

在这里插入图片描述

登录Secondary NameNode：

http://192.168.0.12:50090

在这里插入图片描述

登录ResourceManager：

http://192.168.0.13:8088

在这里插入图片描述

9、安装Spark on Yarn集群

在Spark、Worker节点上安装Spark on Yarn

下载Spark文件：

参考地址：http://spark.apache.org/downloads.html

解压Spark安装文件：

tar -zxf /root/spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local/

在这里插入图片描述

设置环境变量：

export PATH=$PATH:/usr/local/spark-3.1.2-bin-hadoop3.2/bin/:/usr/local/spark-3.1.2-bin-hadoop3.2/sbin/

在这里插入图片描述

添加环境变量至/etc/profile文件：

PATH=$PATH:/usr/local/spark-3.1.2-bin-hadoop3.2/bin/:/usr/local/spark-3.1.2-bin-hadoop3.2/sbin/

在这里插入图片描述

10、配置Spark on Yarn集群

在Spark、Worker节点上配置Spark on Yarn

创建spark-env.sh文件：

cat > /usr/local/spark-3.1.2-bin-hadoop3.2/conf/spark-env.sh << EOF
JAVA_HOME=/usr/local/jdk1.8.0_291/
SCALA_HOME=/usr/local/scala3-3.0.1/
HADOOP_HOME=/usr/local/hadoop-3.2.2/
HADOOP_CONF_DIR=/usr/local/hadoop-3.2.2/etc/hadoop/
YARN_CONF_DIR=/usr/local/hadoop-3.2.2/etc/hadoop/etc/hadoop/
SPARK_MASTER_HOST=spark
SPARK_MASTER_PORT=7077
SPARK_HOME=/usr/local/spark-3.1.2-bin-hadoop3.2/
SPARK_LOCAL_DIRS=/usr/local/spark-3.1.2-bin-hadoop3.2/
SPARK_LIBARY_PATH=/usr/local/jdk1.8.0_291/lib/:/usr/local/hadoop-3.2.2/lib/native/
EOF

在这里插入图片描述

创建workers文件，指定Worker节点：

cat > /usr/local/spark-3.1.2-bin-hadoop3.2/conf/workers << EOF
worker1
worker2
worker3
EOF

在这里插入图片描述

11、启动Spark on Yarn集群

在Spark节点上启动Spark Master节点：

start-master.sh

在这里插入图片描述

在Worker节点上启动Spark Worker节点：

start-worker.sh spark://spark:7077

在这里插入图片描述

12、登录Spark on Yarn集群

登录Master：

http://192.168.0.14:8080

在这里插入图片描述

登录Worker：

http://192.168.0.21:8081

在这里插入图片描述

13、验证Spark on Yarn集群

在Spark节点上提交任务：

spark-submit --class org.apache.spark.examples.SparkPi --master yarn /usr/local/spark-3.1.2-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.1.2.jar 10

在这里插入图片描述

登录ResourceManager，查看提交任务：

http://192.168.0.13:8088

在这里插入图片描述

14、停止Spark on Yarn集群

在Worker节点上停止Spark Worker节点：

stop-worker.sh

在这里插入图片描述

在Spark节点上停止Spark Master节点：

stop-master.sh

在这里插入图片描述

15、停止Hadoop集群

在ResourceManager节点上停止YARN：

stop-yarn.sh

在这里插入图片描述

在NameNode节点上停止HDFS：

stop-dfs.sh

在这里插入图片描述

搭建Spark On YARN集群
weixin_55988146的博客
05-23 431
一、搭建Spark On YARN集群 搭建Spark Standalone集群 （二）修改Spark环境配置文件 存盘退出后，执行命令：source spark-env.sh，让配置生效 三、提交Spark应用到集群运行 （一）启动HDFS和YARN 执行命令：start-dfs.sh 执行命令：start-yarn.sh （二）运行Spark应用程序 查看Spark应用程序$SPARK_HOME/examples/jars/spark-examples_2.11-.
Spark on Yarn集群搭建
hl93hnrz的专栏
02-22 371
软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos 192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Nameno
在Spark集群搭建之Yarn模式
最新发布
2301_81270224的博客
05-07 913
1.上传并解压spark-3.1.2-bin-hadoop3.2.tgz，重命名解压之后的目录为spark-yarn。5. /opt/module/spark-standalone/examples/jars/spark-examples_2.12-3.1.1.jar：指定了包含应用程序代码的 JAR 文件的路径。NodeManager：部署在集群中的每个节点上，负责管理该节点上的资源使用情况，监控容器的运行状态，并且与 ResourceManager 保持通信，汇报节点的资源使用信息。
Spark on Yarn集群搭建详细过程
cihongmo6452的博客
05-24 984
由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案：Standalone,Mesos,Yarn。其中Standalone为spark本身提供的集群模式，搭建过程可以参考官网，本文介绍Sparkon...
spark on yarn 集群部署
weixin_30682415的博客
11-11 109
概述 hadoop2.7.1 spark 1.5.1 192.168.31.62 resourcemanager, namenode, master 192.168.31.63 nodemanager, datanode, worker 192.168.31.64 nodemanager, datanode, worker Hadoop配置 hado...
Spark基础学习笔记06：搭建Spark On YARN集群
lwmzl00的博客
06-17 1285
零、本讲学习目标 学会搭建Spark On YARN模式的集群 能够将Spark应用程序提交到集群运行 一、Spark On YARN架构 Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模
搭建Spark On Yarn 集群
qq_57026298的博客
05-16 721
搭建Spark On Yarn 集群 文章目录搭建Spark On Yarn 集群一、搭建Spark Standalone集群二、提交Spark应用到集群运行 一、搭建Spark Standalone集群 参看《搭建SecureDRT》 修改Spark环境配置文件 （1）Spark On YARN模式的搭建比较简单，仅需要在YARN集群的一个节点上安装Spark即可，该节点可作为提交Spark应用程序到YARN集群的客户端。Spark本身的Master节点和Worker节点不需要启动。 （2）使用此模式需
超详细Spark on yarn 集群搭建部署
Alex的博客
11-14 2153
1.首先准备软件包 下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后，修改配置文件（前提Java已经安装过了） 解压的Linux命令：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.配置环境变量 ...
Spark On Yarn集群搭建
qq_39261894的博客
05-05 462
Spark 客户端可以直接连接 Yarn，不需要额外构建Spark集群。 有 client 和 cluster 两种模式，主要区别在于：Driver 程序的运行节点不同。 client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出 cluster：Driver程序运行在由 RM（ResourceManager）启动的 AM（AplicationMaster）上, 适用...
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
搭建spark on yarn 集群
纸上得来终觉浅,绝知此事要躬行
05-03 1175
两台用的都是ubuntu IP 主机名 192.168.22.137 spark-master 192.168.22.150 spark-slave1 更改主机名 确定每个节点的主机名与它在集群中所处的位置相同 如果不同，需要修改vi /etc/hostname 重启生效 可能需要些安装某些工具包 更换sources源 ...
Spark on Yarn集群模式搭建及测试
默默发展，无声壮大~
08-24 2882
Apache Spark是一个快速的、通用的大数据处理框架，它支持在各种环境中进行分布式数据处理和分析。在Yarn集群模式下搭建Spark环境可以充分利用Hadoop的资源管理和调度能力。本文将介绍如何搭建Spark on Yarn集群模式环境，步骤详细，代码量大，准备发车~
大数据Spark（十）：环境搭建集群模式 Spark on YARN
Lansonli（蓝深李）的博客
04-11 1125
不需要搭建Spark集群只需要:Yarn+单机版Spark(里面有提交命令,依赖jar,示例jar)当然还要一些配置修改配置当Spark Application运行到YARN上时，在提交应用时指定master为yarn即可，同时需要告知YARN集群配置信息（比如ResourceManager地址信息），此外需要监控Spark Application，配置历史服务器相关属性。修改spark-env.sh添加内容## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群同步。
Spark onYarn集群模式搭建
学海无涯的博客
07-22 229
转载此博主https://blog.csdn.net/qq_21439395/article/details/80678372
Spark On Yarn集群模式搭建
qq_51868627的博客
06-06 149
Spark On Yarn集群模式搭建
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值