在VMware上搭建Spark集群

已于 2022-06-25 00:15:46 修改
阅读量2k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # Spark基础学习笔记（2） 文章标签： Spark集群 Standalone on YARN HA
于 2022-04-27 12:44:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/124443867
本文详细介绍了如何在VMware上搭建Spark集群，包括集群拓扑、角色分配、虚拟机创建与配置、防火墙与SeLinux的关闭、SSH免密登录设置，以及Hadoop、Spark的安装配置。通过此教程，读者可以掌握如何从零开始搭建一个完整的Spark Standalone集群，以及在YARN和HA模式下的部署。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

零、本讲学习目标

  1. 搭建Spark Standalone模式的集群
  2. 能够启动Spark Standalone模式的集群
  3. 学会Spark应用程序的提交

Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。

一、Spark集群拓扑

（一）集群拓扑

  • 一个主节点，两个从节点
    在这里插入图片描述

（二）集群角色分配

  • Spark Standalone模式的集群搭建需要在集群的每个节点都安装Spark，集群角色分配如下表所示。
节点 角色
master Master
了解本专栏 订阅专栏 解锁全文 超级会员免费看
在VMware上搭建spark集群
xue1100的博客
06-17 653
无
虚拟机安装(十一)|环境搭建--Spark集群安装部署
weixin_45684171的博客
06-06 1210
十一、Spark集群安装部署 1. 下载spark安装包 2. 解压spark安装包 进入到/export/software/目录下 cd /export/software/ 上传spark-2.3.2-bin-hadoop2.7.tgz rz 查看 ls 解压安装包 tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /export/servers/ 进入解压后的目录 cd /export/servers/ 查看 ls 重命名 mv spark-2.
VMware部署Spark集群
FriendshipTang的博客
12-25 588
部署Spark集群VMware克隆虚拟机设置网卡设置hostname设置hosts文件 VMware克隆虚拟机 设置网卡 HostName ip master 192.168.94.128 data1 192.168.94.129 date2 192.168.94.130 设置hostname 设置hosts文件 sudo gedit /etc/hosts 192.168.94.128 master 192.168.94.129 data1 192.168
使用VMware进行基于Ubuntu16.04LTS的Spark集群搭建
lch的博客
01-20 4120
先说一下我用的软件or环境的版本：VMware14.1.1Ubuntu16.06.03jdk1.8.0_161Scala2.10.5Python2.12（装Ubuntu后自带的）Spark1.6.1-hadoop2.6Hadoop2.6.4步骤：安装VMware。傻瓜式安装，提供两个激活序列号：FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA、CV7T2-6WY5Q-48EWP-ZXY7...
基于Vmware Workstation上的hadoop集群搭建Spark集群
DumbbellYang的专栏
11-13 1482
在本博客中，总结了如何在前一篇博客在Windows 7上利用Vmware Workstation搭建Ubuntu kylin 14.04的hadoop集群成功的基础上，安装Scala，部署Spark，配置Spark搭建Spark集群的详细步骤。
Spark入门(一): VMware虚拟机搭建Spark集群
Redemption1997的博客
09-29 6020
文章目录一、搭建方法二、准备三、系统环境配置四、软件安装与配置1. 软件下载安装2.Hadoop配置3.Spark配置五、虚拟机克隆六、启动集群七、踩坑经历分享 一、搭建方法 在虚拟机上搭建集群的方法通常有两种 1.类似于真实的机器上部署，首先要进行密钥授权使各台机器之间能够免密码相互访问，然后在主节点上将各个软件配置好，分发各个从节点。 2.采用虚拟机克隆的方式，先进行软件的配置，然后将mast...
虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala
qq_58031705的博客
03-21 943
虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala
VMware虚拟机上搭建配置集群环境
07-06
集群是在一组计算机上运行相同的软件并虚拟成一台主机系统为客户端与应用提供服务；计算机通过缆线物理连接并通过集群软件实现程序上的连接，可以使计算机实现单机无法实现的容错和负载均衡。集群技术在企业组织部署关键业务、电子商务与商务流程应用等领域，具有举足轻重的作用。 本文主要带领大家一起，参与到集群配置中来，从资料中的配置过程，希望读者朋友能切实了解到集群技术在Windows系统中的具体应用。
虚拟机VMware spark的安装教程
XUYH6904的博客
04-20 1226
1.创建一个空文件夹 2.解压安装包到文件夹中 3. 进入目录 4.重命名文件夹 5.打开spark进行编译
spark集群搭建超详细
07-06
针对新手，因本人也是新手，耗费10天完成，详细到每一个步骤
1. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（1）- 安装 CentOS
JiangMengYa
02-15 1068
基于 Mac 平台 VMware 虚拟机的 Spark 安装系列博文，主要分为如下几个篇章 : 1. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（1）- 安装 CentOS 2. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（2）- 安装 Hadoop 3. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（3）- 安装 MySQL 4.基于 Mac...
spark开发环境搭建+wordcount案例
weixin_46155444的博客
07-12 292
环境准备 1.打开IDEA新建一个maven项目 2.增加 Scala 插件 Spark 由 Scala 语言开发的，开发前请保证 IDEA 开发工具中含有 Scala 开发插件 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nG8iJkqt-1626079796853)(spark快速上手.assets/image-20210123152434018.png)] 3.下载scala 由于需要scala进行编写，所以要安装scala https://www.scala-lan
在vmware虚拟机上配置Scala和Spark并初步使用
Helltaker的博客
10-30 3697
在虚拟机上配置Scala和Spark准备阶段安装包配置文件scala部分spark部分spark初体验 准备阶段 一台配置好Java环境的虚拟机 scala-2.11.12.tgz spark-2.4.5-bin-hadoop2.6.tgz 安装包 将scala和spark的安装包导入虚拟机 解压，移动到opt目录下（或自定义），并改名 tar -zxvf scala-2.11.12.tgz -C /opt/ tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/
在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记
机器学习、数据挖掘
07-03 1253
最近在学习利用spark进行数据挖掘，整理了一下安装过程，以前安装过老版本，不能跟上发展需要，一下问新版本安装过程仅供参考： 一.软件下载地址： 由于我电脑是windows的但是windows安装会遇到很多兼容性问题，因此在本机安装了虚拟机进行学习，整理了VMware、ubuntu镜像文件、jdk、Hadoop、scala、spark和anaconda的下载地址： VMware下载地址：  ...
Spark环境搭建
最新发布
2201_75779723的博客
09-13 2300
本文是使用VMware Workstation搭建Spark环境，操作系统为CentOS 7的详细步骤
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
dhgr33280的博客
02-28 836
1.选取三台服务器（CentOS系统64位） 　　114.55.246.88主节点 　　114.55.246.77从节点 　　114.55.246.93从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。 　　我是用root用户操作的。 2.修改hosts文件...
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
Hadoop集群+Spark集群搭建基于VMware虚拟机教程+安装运行Docker
qq_43775006的博客
05-30 4768
Hadoop集群搭建 一、准备工作 1.软件工具 若虚拟机应未安装则根据以下连接进行安装，若已安装则往下看： VMware Fusion: https://www.vmware.com/cn/products/fusion/fusion-evaluation.html JDK 1.8 (jdk-8u221-linux-x64.rpm) Hadoop 2.7.7 (hadoop-2.7.7.tar.gz) Spark 3.1.1 (spark-3.1.1-bin-hadoop2.7.tgz） .
VMware虚拟机CentOS7系统上安装spark
每天更新大数据面经和技术
06-10 1039
VMware虚拟机CentOS7系统上安装spark 新建一个文件夹安装软件： sudo mkdir /opt/software 解压spark: sudo tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /opt/software/ 重命名一下： sudo mv spark-2.4.5-bin-hadoop2.7/ spark-2.4.5 配置环境变量： sudo vim /etc/profile.d/env.sh 添加内容： export JAVA_HOME
虚拟机环境下高可用Spark集群搭建指南
由于文件列表中仅提及“vm安装高可以spark集群”，这实际上没有提供额外的知识点，只是说明了压缩包中可能包含了关于虚拟机安装高可用Spark集群的相关文件。 --- 综合以上信息，我们得知文件介绍了使用虚拟机搭建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值