Spark3.0.0 on yarn (基于hadoop3.2 ) 分布式安装 - 避坑指南

最新推荐文章于 2024-06-17 12:06:18 发布
最新推荐文章于 2024-06-17 12:06:18 发布
阅读量1.7k 收藏 7
点赞数 1
文章标签： 树堆
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gulugulu_gulu/article/details/105772408
版权
本文介绍了在CentOS上安装Scala 2.11.12，并详细讲解了如何在master节点上安装Spark 3.0.0，特别是针对基于Hadoop 3.2的环境。安装过程包括下载安装包、解压、配置环境变量和conf文件。文章还提到了在master节点上启动Spark以及启动客户端（Yarn）时遇到的问题和解决方法，适合需要部署Spark的开发者参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 centos安装scala

1.下载：
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

2.解压至【/usr/local】

 tar -xvzf scala-2.11.12.tgz

3.配置环境变量

vim /etc/profile

#scala
export SCALA_HOME=/usr/local/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH

配置完成
在这里插入图片描述

2 安装spark
以下在master节点上进行

dockerapache-01
dockerapache-02
dockerapache-03 #master

1.下载spark，
http://spark.apache.org/downloads.html
这里由于我的hadoop是3.1.3, 所以选择基于3.2的进行尝试
在这里插入图片描述
2. 上传至master节点上，解压至【/usr/local】

tar -xvzf spark-3.0.0
最低0.47元/天 解锁文章
Spark3 on Yarn分布式集群安装部署(YARN模式)
zhengzaifeidelushang的博客
11-12 2159
export JAVA_HOME=/moudle/jdk1.8 export HADOOP_HOME=/moudle/hadoop-3.3.0 export HADOOP_CONF_DIR=/moudle/hadoop-3.3.0/etc/hadoop export SPARK_MASTER_HOST=bigdata1 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=1 export SPARK_DRIVER_MEMORY=1g export
CentOS7安装Spark3.3.0 ON YARN集群并整合HIVE, Spark-On-HIVE
weixin_42154841的博客
08-21 2563
spark on Yarn，并且整合spark 与hive过程
spark3.0.1 on yarn 配置参数
m0_58149226的博客
08-05 608
spark3.0.1 on yarn 配置参数
spark3_「Spark」spark3.0.0 on yarn 安装测试
weixin_39866419的博客
11-21 250
spark3.0.0 on yarn 安装测试版本：hive 3.1.1 spark 3.0.0 hadoop3.0.0从spark3.0.0版本开始支持hadoop3。hive3 也支持hadoop，完美的组合。3.1.下载spark3.0.0https://mirror.bit.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2....
Spark Yarn 模式部署
记录点点滴滴
03-30 3481
Spark Yarn 模式部署解压缩文件修改配置文件配置历史服务器配置日志存储路径启动HDFS以及YARN集群提交应用查看进程查看历史页面 解压缩文件 将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 linux 并解压缩，放置在指定位置 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module cd /opt/module 换名 : mv spark-3.0.0-bin-hadoop3.2 spark-3.0.0-ya
spark分布式安装配置
JHC_binge的博客
01-25 260
1.配置worker vim conf/slaves.template 2.配置master vim spark-env.sh   export JAVA_HOME=/usr/local/jdk1.8.0_201 export SCALA_HOME=/usr/local/scala export HADOOP_HOME=/usr/local/hadoop export HADOOP...
spark-3.0.0-bin-hadoop3.2.tgz
12-30
3. 兼容性增强：Spark 3.0.0兼容Hadoop 3.2，这意味着它可以充分利用Hadoop的新功能，如HDFS erasure coding和YARN的改进，提升了数据安全性和集群管理效率。 4. 机器学习库MLlib更新：Spark的机器学习库MLlib在新...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
5. 集成与兼容性：预编译的Hadoop 3.2版本意味着Spark 3.1.3可以更好地与Hadoop生态系统中的其他组件（如HDFS、YARN）协同工作，提供更广泛的数据源支持。 6. 开发者工具：Spark提供了一个强大的交互式命令行界面...
spark-3.2.0-bin-hadoop3-without-hive
04-24
《Spark 3.2.0 与 Hadoop 3 的集成——无 Hive 版本解析》 Spark，作为大数据处理领域的重要工具，以其高效的内存计算和分布式数据处理能力备受青睐。Spark 3.2.0 是一个重要的版本更新，它在性能、稳定性和功能上...
spark-3.0.0-bin-without-hadoop.tgz
12-30
不包含Hadoop的Spark发行版意味着用户需要自行配置Hadoop的相关依赖，如HDFS客户端、YARN客户端等，以便Spark能与已有的Hadoop集群交互。这对于那些已经拥有成熟Hadoop环境的组织来说是一个灵活的选择，因为它避免了...
Spark on Yarn环境搭建
qq_44666176的博客
11-26 2683
1，解压缩spark安装文件 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 2，修改spark目录名称 mv spark-3.0.0-bin-hadoop3.2 spark-yarn 3，修改hadoop的yarn-site.xml文件，新增下面内容 <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认 是 true --> <property> <name&gt
基于Spark3.3.4版本，实现Spark On Yarn 模式部署
最新发布
qq_25409421的博客
06-17 1304
企业中的海量数据都会使用大数据相关计算框架进行分析处理，在早期大数据处理中，我们会选择使用MapReduce分析处理海量数据，MapReduce存在计算慢、代码编写复杂、不支持流式计算及性能上的一些问题，Apache Spark计算框架的出现解决了MapReduce计算框架以上各种问题，Apache Spark是新一代的大数据计算框架，支持针对批量数据及流式数据进行处理，在数据处理上相对比MapReduce性能上提升很多，不仅编程方便还支持SQL处理数据、流式编程等。
Spark on Yarn安装配置
weixin_44794485的博客
01-22 2109
步骤1：复制和解压Spark安装包解压文件：将Spark安装包解压到/opt/module目录中。
spark3.1.2基于yarn的集群安装
qq_41878423的博客
10-26 1006
spark3.1.2基于yarn的集群安装准备工作集群配置 准备工作 wget https://www.apache.org/dyn/closer.lua/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz -O /opt/spark-3.2.0-bin-hadoop3.2.tgz # 创建统一目录 mkdir -p /opt/bigdata/spark # 解压 tar xf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/b
spark standalone集群安装及spark on yarn
学亮编程手记
12-14 383
standalone模式 配置spark 安装spark，并不需要安装scala 。 spark使用的是netty。 6066是restful接口端口；7077是m-w通信端口；8088是webui端口。 启动spark集群 启动时会在本地启动master，然后通过读取slaves配置文件ssh到其他节点启动slave。 访问master:8080 yarn和spark的standalone模式对比 yarn的资源隔离做得更优秀。spark streaming推荐跑在yarn
Spark On Yarn 部署与配置
wolf_333的博客
07-30 5308
开始安装部署spark 1. 编辑 spark-env.sh 我的配置： export SPARK_HOME=/home/hadoop/spark-2.4.3-bin-hadoop2.7 export SCALA_HOME=/usr/local/scala-2.11.8 export JAVA_HOME=/usr/local/java export HADOOP_HOME=/home/hadoop...
搭建Spark On Yarn 集群
qq_57026298的博客
05-16 719
搭建Spark On Yarn 集群 文章目录搭建Spark On Yarn 集群一、搭建Spark Standalone集群二、提交Spark应用到集群运行 一、搭建Spark Standalone集群 参看《搭建SecureDRT》 修改Spark环境配置文件 （1）Spark On YARN模式的搭建比较简单，仅需要在YARN集群的一个节点上安装Spark即可，该节点可作为提交Spark应用程序到YARN集群的客户端。Spark本身的Master节点和Worker节点不需要启动。 （2）使用此模式需
Spark on YARN 部署搭建详细图文教程
热门推荐
GG Bond 的博客
09-15 1万+
Spark on YARN 部署搭建详细图文教程
Hadoop3.x入门-Spark3.x部署
小末的博客
05-14 1616
1.前言 Spark集群模式包括：Local，Standalong，Yarn，Kubernetes，但在生产环境中Spark On Yarn是主流。其中，Spark提供计算服务，Yarn提供资源调度能力。 本文介绍如何部署Spark3.1.3 On Yarn，这种模式下，Spark没有集群的概念，而是作为一个客户端组件向Yarn提交自定义Jar包程序任务，只有提交任务的时候才会启动相关Spark进程，任务结束所有Spark进程将会结束，所以只需要将Spark相关配置配好并部署到hadoop集群中任意一个
一站式安装包：Spark及配套Hadoop环境配置指南
- 博客中可能包含的安装指南会涉及Hadoop集群的搭建，包括Hadoop守护进程的启动、配置和测试等。 4. Spark 文件名称：spark-2.4.7-bin-hadoop2.7.tgz.gz 知识点： - Spark是一个开源的分布式计算系统，提供了一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值