spark基于standalone模式集群部署--centos7环境

已于 2023-12-11 16:29:32 修改
阅读量357 收藏
点赞数
分类专栏： Spark 文章标签： spark scala big data
于 2021-10-06 14:38:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nzbing/article/details/120622100
版权
本文详细介绍了在CentOS7环境下，如何进行Spark基于standalone模式的集群部署。包括前期准备（虚拟机、软件版本）、操作系统配置（安装命令、设置静态IP、主机名映射、关闭防火墙、安装JDK、Scala和Spark）、克隆虚拟机以及启动Spark集群的步骤，并提供了验证部署成功的标准。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Shuffle

一、前期准备

  • 三台虚拟机
  • spark安装包，我的版本spark-3.1.2-bin-hadoop3.2
  • scala环境，我的版本scala-2.11.8
  • jdk,我的版本jdk-8u181

二、操作系统准备

1、先配置一台机器，后续可通过虚拟机克隆来进行操作
2、安装相关命令

yum -y install vim
yum -y install net-tools
yum -y install tar

3、设置静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33
#将BOOTPROTO修改为static
#新增
#IPADDR=19
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark 单机和集群环境部署教程
qq_42568323的博客
08-07 1941
通过以上步骤，我们成功部署了 Spark 单机和集群环境，并实现了一个简单的 Word Count 应用。Spark 提供了强大的分布式计算能力，可以处理大规模数据，并支持多种编程语言。
Spark的StandAlone集群模式安装部署
weixin_38097878的博客
05-12 561
StandAlone集群模式的介绍与部署 集群角色介绍 Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么就需要了解spark自带的standalone集群模式的架构以及它的运行机制 stand alone集群模式使用了分布式计算中的master - slave模型 master是集群中含有master进程的节点 slave是集群中worker节点含有Executor进程 Spark架构图如下： Apache对spark架构的官方描述：http://spark.apa
centos7部署spark
大学生小汪的成长博客
02-08 777
目录 1、检查centos网络是否正常 2、实验下载文件保存目录：/home/wyl/cluster下(自行创建)​ 3、导入.tgz包 4、解压 5、复制并修改slave配置文件 6、复制并修改spark-env配置文件 7、启动spark 8、访问spark集群 9、停止spark 注：下载包地址：http://archive.apache.org/dist/spark/spark-2.1.1/ 本次实验选择的是 1、检查centos网络是否正常 ping www....
Linux（centos7）部署spark
最新发布
LLMUZI123456789的博客
04-03 981
Spark部署模式主要有4种：Local模式（单机模式）、Standalone模式（使用Spark自带的简单集群管理器）、Spark On Yarn模式（使用YARN作为集群管理器）和Spark On Mesos模式（使用Mesos作为集群管理器）。下面介绍Local模式（单机模式）、跟Spark On Yarn模式（使用YARN作为集群管理器）的简单部署。spark on local模式以及spark on yarn模式部署完成。选择想要安装的版本下载，然后通过Linux客户端Xshell等上传到主机。
8.1.CentOS7安装Spark安装部署及standalone模式介绍
IT瘾君子的博客
03-01 1504
spark安装部署及standalone模式介绍
centos7 spark standalone 模式搭建
starkpan的博客
01-13 435
1、先搭建spark local 模式 https://blog.youkuaiyun.com/starkpan/article/details/86437089 2、进入spark安装目录conf文件夹 cp spark-env.sh.template spark-env.sh 3、配置spark-env.sh,添加以下内容 SPARK_MASTER_HOST=hadoopOne SPARK...
Spark实验：Standalone模式安装部署（带答案）1
08-03
1. 实验描述：本实验旨在搭建一个基于Standalone模式的Spark集群，包括解压安装包、配置环境变量、启动集群及验证安装效果。 2. 实验环境：使用3台虚拟机，操作系统为Centos 7.5，Hadoop版本为2.7.3，Spark版本为...
Spark3.2.0 Standalone集群模式部署教程
changzhen5616的博客
12-04 2631
Spark3.2.0 在Centos7环境下 Standalone集群模式安装部署教程
Spark安装部署：Standalone模式
一顿吃不饱的博客
11-11 4174
Spark安装部署：Standalone模式 1、实验描述 以spark Standalone的运行模式安装Spark集群 实验时长： 45分钟 主要步骤： 解压安装Spark 添加Spark 配置文件 启动Spark 集群 运行测试用例 2、实验环境 虚拟机数量：3(一主两从，主机名分别为：master、slave01、slave02) 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Spark版本：Apache Spark 2.1.1 3、相
contOS7 Spark StandAlone HA 环境搭建
m0_50641264的博客
01-13 876
1.确定环境是否安装好 搭建环境之前先确定自己的环境是否做好 1.jdk 1.8版本 2.HDFS MapReduce Hadoop 3.2.1 + 3.zookeeper 4.python 环境 3.8+ 点击直接查看 1,23,4操作: Hadoop jdk python 环境配置教程. 2.先在spark-env.sh中, 删除: SPARK_MASTER_HOST=node1 原因: 配置文件中固定master是谁, 那么就无法用到zk的动态切换master功能了. 在spark-env.s
spark standalone集群部署
shuest的博客
06-23 464
进入spark安装目录下的conf文件夹 修改配置文件名称 mv slaves.template slaves mv spark-env.sh.template spark-env.sh 修改slave文件，添加work节点： vim slaves 加入： hadoop102 hadoop103 hadoop104 修改spark-env.sh文件，添加如下配置： SPARK_MASTER_HOST=hadoop102 SPARK_MASTER_PORT=7077 分发spar
spark-standalone集群部署
BIGDATA_N1
12-13 1130
spark-standalone集群部署 1 配置jdk环境 2 master节点配置 3 slave节点配置 4 master启动spark-stanalone集群 5 使用spark-submit测试环境
Spark Standalone集群部署
YongYu_IT的专栏
07-12 392
集群管理器 spark集群和Hadoop集群类似，采取主从结构，有两类节点： 集群管理者 Master节点（也叫驱动器（Driver）节点）。Master负责集群资源管理，接收spark job并分布到各个计算节点上进行计算。在集群中起到支配作用。一个集群中，活跃的Master只能有一个（HA部署下，可能有多个在热备）！ 在Spark集群中，Master节点负责执行org.apache.s...
Spark StandAlone模式集群部署
优快云1csdn1的博客
03-31 254
Anaconda：链接: https://pan.baidu.com/s/1JJKBdfXdkpx-WXkbtpr7GQ 提取码: aa3x。Spark：链接: https://pan.baidu.com/s/1lQ0kfQzzAQkOsOg1DzdFbQ 提取码: sp32。默认端口master我们设置到了8080。如果端口被占用, 会顺延到8081 …直到申请到端口为止。遇到操作时： 是否接受条款：yes => 自定义服务安装目录：/xxx/xxx => 是否初始化：yes。
spark部署standalone集群
踏莎行的博客
05-06 3505
spark官网文档：http://spark.apache.org/docs/latest/spark-standalone.html 环境 linux centos spark-1.3.1-bin-hadoop2.6 jdk1.7 python2.6 可以用tar.gz这种离线包解压后再配置环境变量，修改/etc/profile或者~/.bashrc文件并使用source命令使之生效。（本次仅仅
CentOS环境下配置Spark集群（Hadoop YARN）
Blossom
11-11 945
准备工作 安装SSH Server、配置集群节点间的相互SSH无密码登录 Linux（CentOS6.4）下Hadoop单机/集群的安装和配置 注意：如果需要在Spark集群时，使用hadoop yarn的方式提交任务，则需要在集群中配置完成hadoop（yarn方式），详情见：CentOS6.4环境下Hadoop单机+集群的安装和配置中集群部分。 Spark集群配置环境 Linux主机两...
部署spark2.2集群(standalone模式)
程序员欣宸的博客
02-04 3078
部署spark2.2集群(standalone模式)
Centos7 搭建单机Spark分布式集群
Yeats_Liao的博客
11-17 1385
Centos7 搭建单机Spark分布式集群
Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试
陈杰
09-19 1057
1、进入pc1的Spark的conf目录，创建或者修改spark-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-oracle export SCALA_HOME=/chenjie/scala-2.10.4 export HADOOP_HOME=/chenjie/hadoop-2.6.5 export HADOOP_CONF_DIR=/chenjie
Spark Standalone部署指南： CentOS 7下的配置与操作
"Spark Standalone官方文档翻译，涵盖了Spark单机模式的安装、启动、集群...理解这些知识点对于在CentOS 7环境下部署和管理Spark Standalone集群至关重要。通过合理配置和管理，可以高效地运行和调度Spark应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值