Spark(4) -- Spark on YARN

最新推荐文章于 2025-02-07 18:10:55 发布
原创 最新推荐文章于 2025-02-07 18:10:55 发布 · 231 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了如何将Spark Application提交到YARN集群上，包括设置环境变量、配置历史服务、提交应用以及解决整合Spark历史服务器的问题。重点讨论了在YARN上配置Spark的属性，如设置Master为yarn，配置HistoryServer地址，以及优化提交应用时的资源检查和依赖jar包。同时，还提供了启动服务和查看应用状态的步骤。

 将Spark Application提交运行到YARN集群上，至关重要，企业中大多数都是运行在YANR上，文档:launching-spark-on-yarn
spark on yarn 模式官方文档说明:
running-on-yarn
running-on-yarn#configuration
 同时注意，如果我们的spark程序是运行在yarn上面的话，那么我们就不需要spark 的集群了，我们只需要找任意一台机器配置我们的spark的客户端提交任务到yarn集群上面去即可。

1. 属性配置

 当Spark Application运行到YARN上时，在提交应用时指定master为yarn即可，同时需 要告知YARN集群配置信息(比如ResourceManager地址信息)，此外需要监控Spark Application，配置历史服务器相关属性。

1.1 设置环境变量

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kafka高级(5) -- Kafka中数据清理（Log Deletion）
erainm
09-16 2356
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式： 1. 日志删除 2. 日志压缩
Kafka高级(6) -- Kafka配额限速机制（Quotas）
erainm
09-16 2133
生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。 1. 限制producer端速率 2. 限制consumer端速率 3. 取消Kafka的Quota配置
spark集群部署-SPARK ON YARN
最新发布
m0_74230025的博客
02-07 417
master角色由yarn的resourcemanager担任（集群资源管家）。worker角色由nodemanager担任（单机资源管家）。driver运行在yarn容器内或者提交任务的客户端过程内。干活的executor运行在yarn提供的容器内。
Spark环境搭建-Spark-on-Yarn
m0_59432297的博客
11-19 598
大数据开发spark-on-yarn环境搭建
spark-sql on yarn 、spark-shell on yarn 详解
wang2leee的博客
08-04 4395
关键字：spark-shell on yarn、spark-sql on yarn 前面的文章《Spark On Yarn：提交Spark应用程序到Yarn》介绍了将Spark应用程序提交到Yarn上运行。有时候在做开发测试的时候，需要使用spark-shell和spark-sql命令行，除了Local和Spark standalone模式，spark-shell和spark-sql也可以...
Spark-On-Yarn搭建模式
weixin_44442434的博客
06-29 1072
一.修改yarn-site.xml 在node1上修改yarn-site.xml,指定MRHistoryServer地址信息并关闭yarn内存检查，因为spark运行在yarn上需要很多内存，yarn默认会对内存进行限制 <configuration> <!--配置yarn主节点的位置--> <property> <name>yarn.resourcemanager.hostname</name...
spark-yarn提交任务
wayfarer__的博客
04-12 796
spark-yarn提交任务的几种方式1、Yarn模式两种提交任务方式1.1、yarn-client提交任务方式1.1.1 yarn-client执行流程1.2、yarn-cluster提交任务方式1.2.1 yarn-cluster执行流程1.3、ApplicationMaster作用 1、Yarn模式两种提交任务方式 1.yarn-client：用于测试，driver运行在本地客户端，负责调整application，会与yarn集群产生大量网络通信，网卡流量过大，导致网络阻塞i，可能会导致任务失败，好处
spark -- on yarn模式 Spark参数详解 IDEA编写Spark程序
kismet
04-08 3053
spark on yarn Spark on yarn：Spark 使用了 yarn 管理器。Spark 运行在 YARN 上时，不需要启动 Spark 集群，只需要启动 YARN 即可，YARN 的 ResourceManager 相当于 Spark Standalone 模式下的 Master。 spark中的两种模式（Cluster和Client） Cluster和Clien...
Spark on YARN运行过程，YARN-Client和YARN-Cluster
qq_41982570的博客
03-01 1501
Spark on YARN运行过程，YARN-Client和YARN-Cluster
spark代码 spark-submit提交yarn-cluster模式
南国的技术栈
07-15 4116
worldcount yarn-cluster集群作业运行 上面写的是一个windows本地的worldcount的代码，当然这种功能简单 代码量少的 也可以直接在spark-shell中直接输scala指令。 但是在项目开发 企业运用中，因为本地的资源有限 使得无法发挥出spark的真正优势。因此 在这里 我就spark代码在集群中运行 做一些补充讲述。 我使用的环境是： idea编译器 jdk...
Spark：Yarn-Cluster和Yarn-Client的区别
不花的花和尚的博客
09-23 1581
0 首先注意的概念 ResourceManager：是集群所有应用程序的资源管理器，能够管理集群的计算资源并为每个Application分配，它是一个纯粹的调度器。 NodeManager：是每一台slave机器的代理，执行应用程序，并监控应用程序的资源使用情况。 Application Master：每一个应用程序都会有一个Application Master，它的主要职责是向RM申请资源...
【大数据学习 | Spark-Core】yarn-client与yarn-cluster的区别
2301_80912559的博客
11-19 662
这3样需要从提交程序端 上传到 /user/xxx/.sparkStaging/yarnid/目录下（分布式缓存），然后再分发到运行任务的计算节点。当在客户端提交多个spark应用时，它会对客户端造成很大的网络压力，yarn-client模式只适合 交互式环境开发。客户端一经提交可以离开，常用于正常的提交应用，适合生产环境。，那运行和监控executor 的任务都是在yarn集群里面。，所以driver端（客户端）是不能离开的。3）运行任务的jar包（带有代码的jar包）2）运行要依赖的jar包。
精选资源
SPARK2_ON_YARN-2.4.0.cloudera2.jar
03-10
SPARK2_ON_YARN-2.4.0 jar包下载
Scala(6) -- scala类(成员变量、成员方法、修饰符)和对象
erainm
09-19 2026
1. 类和对象 2. 定义和访问成员变量 3. 下划线初始化成员变量 4. 定义和访问成员变量 5. 访问权限修饰符 6. 类的构造器 7. 单例对象 8. main方法 9. 伴生对象 10. 案例
Spark(53) -- StructuredStreaming -- 事件时间窗口分析
erainm
10-16 1717
1. 时间概念 2. event-time 窗口分析 3. event-time 窗口生成 4. 延迟数据处理 4.1 延迟数据 4.2 Watermarking 水位 4.3 官方案例演示
spark(56) -- SparkMllib -- SparkMllib的功能和应用场景
erainm
10-17 1606
1. SparkMllib简介及功能介绍 2. SparkML版本变迁 3. SparkMllib架构详解 4. 基于RDD的API与基于DataFrame的API区别和应用 5. SparkMllib的环境搭建与IDEA环境配置 6. RDD、DataSet、Dataframe区别及转化过程
Kafka入门(5) -- Java编程操作Kafka
erainm
09-15 1521
1. 同步生产消息到Kafka中 1.1 需求 接下来，我们将编写Java程序，将1-100的数字消息写入到Kafka中。 1.2 开发步骤 导入Maven Kafka POM依赖 使用以下方式来编写第一个Kafka示例程序 参考以下文档：参考文档 创建用于连接Kafka的Properties配置 创建一个生产者对象 发送消息到指定 Topic 关闭生产者 参考代码： /** * 生产者程序：将1-100的数字消息写入到Kafka中 */ public class _1ProducerTest
Scala(12) -- scala读写数据
erainm
09-21 1422
1. 读取数据(按行、字符读取、读取单词和数字、从URL和其他数据源读取、读取二进制文件) 2. 写入数据（往文件写数据、序列化和反序列化） 3. 案例
Kafka高级(1) -- kafka分区与副本机制
erainm
09-16 1402
1. 生产者分区写入策略 轮询分区策略、 随机分区策略、按key分区分配策略、自定义分区策略 2. 消费者组Rebalance机制 Rebalance再均衡、Rebalance的不良影响 3. 消费者分区分配策略 Range范围分配策略、 RoundRobin轮询策略、 Stricky粘性分配策略 4. 副本机制 producer的ACKs参数、acks配置为0、acks配置为1、acks配置为-1或all
Docker+Spark-on-Yarn集群搭建与可视化教程
本文档详细介绍了如何基于Docker技术搭建Spark-on-YARN的大数据集群，并实现可视化管理。首先，从整体上介绍大数据集群部署的基本概念，指出集群构建的核心是利用Docker创建虚拟化的容器环境，通过weave网络工具实现...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值