Spark本地化调度

最新推荐文章于 2024-05-03 22:20:58 发布
最新推荐文章于 2024-05-03 22:20:58 发布
阅读量693 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Lin_wj1995/article/details/73331272

Spark的task一般都会分发到它所需数据的那个节点，这称之为”NODE_LOCAL”。

但在资源不足的情况下，数据所在节点未必有资源处理task，因此Spark在等待了“spark.locality.wait”所配置的时间长度后，会退而求其次，分发到数据所在节点的同一个机架的其它节点上，这是“RACK_LOCAL”。

当然，也有更惨的，就是再等了一段“spark.locality.wait”的时间长度后，干脆随便找一台机器去跑task，这就是“ANY”策略了。

来自： Spark技术日报-Spark Streaming应用与实战全攻略

Spark调优 数据本地化调优
九师兄
07-04 1218
数据本地化对于Spark Job性能有着巨大的影响。如果数据以及要计算它的代码在一起（一个work节点上），那么性能会非常的高。但是如果数据和计算它的代码是分开的，那么其中之一必须到另外一方的机器上，通常来说，因为代码很小。Spark也正是基于这个数据本地化的原则来构建task调度算法的。
大数据领域Spark的资源管理与调度策略
最新发布
大数据洞察的博客
04-12 653
本文旨在全面解析Spark框架中的资源管理与调度机制，帮助开发者深入理解Spark内部工作原理，掌握资源调优技巧。讨论范围包括Spark核心资源管理模型、任务调度算法、不同集群管理器实现，以及实际应用中的最佳实践。文章首先介绍Spark资源管理的基本概念，然后深入分析其核心算法和实现机制，接着通过实际案例展示应用方法，最后讨论未来发展趋势。Driver：Spark应用的主控进程，负责协调任务执行Executor：工作节点上的进程，执行具体任务Task：Spark作业的最小执行单元Stage。
Spark任务调度与数据本地性
日常分享数据分析开发、编程语言内容
12-31 1146
了解Spark任务调度与数据本地性是构建高效分布式应用程序的关键。本文深入探讨了任务调度的流程、数据本地性的重要性，并提供了示例代码来帮助大家更好地理解这些概念。希望本文帮助大家更好地理解Spark任务调度与数据本地性的概念，并为您构建和优化Spark应用程序提供了一些有用的指导。
Spark调优：数据本地化（调优）
不花的花和尚的博客
10-19 844
数据本地化的级别： PROCESS_LOCAL task要计算的数据在本进程（Executor）的内存中。 NODE_LOCAL task所计算的数据在本节点所在的磁盘上。 task所计算的数据在本节点其他Executor进程的内存中。 NO_PREF task所计算的数据在关系型数据库中，如mysql。 RACK_LOCAL task所计算的数据在同机架的不同节点的磁盘...
spark数据本地化及操作
weixin_43303297的博客
12-26 196
文章地址连接
Spark的数据本地化
fanyao4144的博客
12-10 1152
数据本地化对于Spark Job性能有着巨大影响。如果数据以及要计算它的代码是在一起的，那么性能必然会很高，若不在一起，则其中之一必须移动到另外一方机器上，通常移动代码的速度会快得多。Spark基于这个数据本地化的原则来构建task调度算法的。 数据本地化：数据离计算它的代码有多近。基于数据距离代码的距离，有几种数据本地化级别： 1. PROCESS_LOCAL :数据和计算它的代码在同一个JV
Spark源码阅读02-Spark核心原理之调度算法
2401_84152738的博客
05-03 703
其他的内容都可以按照路线图里面整理出来的知识点逐一去熟悉，学习，消化，不建议你去看书学习，最好是多看一些视频，把不懂地方反复看，学习了一节视频内容第二天一定要去复习，并总结成思维导图，形成树状知识网络结构，方便日后复习。这里还有一份很不错的《Java基础核心总结笔记》，特意跟大家分享出来目录：部分内容截图：《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！//把该任务加入到运行任务列表中} else {None。
[spark] 数据本地化及延迟调度
UFO的博客
10-18 1354
Spark本地化即移动计算而不是移动数据，而现实又是残酷的，不是想要在数据块的地方计算就有足够的资源提供，Spark的延迟调度应运而生，资源不够可在限制时间内不断重试，超过限制时间后还无法启动则降低要求再尝试启动……本地化级别（Locality Levels） PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中；计算数据的task由executor
Spark本地提交Volcano调度支持方案
tamako0v0的博客
07-28 900
重构Volcano客户端vcctl 1.1新增命令行 在vcctl中新增命令行 rootCmd.AddCommand(buildSpark()) rootCmd.AddCommand(buildSparkOperator()) 1.2创建命令行根及指令 func buildSparkOperator() *cobra.Command { // 创建根 sparkOperatorCmd := &cobra.Command{ Use: "spark-opera
Spark的数据本地化和延迟调度策略
SmallCatBaby的博客
06-19 1038
一.概述 Spark数据本地化即计算向数据移动，但数据块所在的Executor不一定有足够的的计算资源提供，为了让task能尽可能的以最优本地化级别（Locality Levels）来启动，Spark的延迟调度应运而生，资源不够可在该Locality Levels对应的限制时间内重试，超过限制时间后还无法启动则降低Locality Levels再尝试启动。...
Spark性能调优之数据本地化
JasonZhangOO的博客
02-22 1261
    本篇blog讲述实际spark项目中调优的一个小技巧，调节数据本地化的等待时长。    Spark在Driver上，对Application的每一个stage的task，进行分配之前，都会计算出每个task要计算的是哪个分片数据，RDD的某个partition；Spark的task分配算法，优先，会希望每个task正好分配到它要计算的数据所在的节点，这样的话，就不用在网络间传输数据；   ...
Spark Task：移动计算策略——任务调度数据本地性
Big_data_implicit_
12-15 761
PROCESS_LOCAL：一个JVM内部，将RDD缓存、Executor、数据所在的datanode在同一个进程内 NODE_LOCAL：在多个Executor之间，同一台主机上进行调度 RACK_LOCAL：在同一个机架内 NO_PREF：不考虑 ANY：任意都可以 其中优先的顺序是：PROCESS_LOCAL>NODE_LOCAL>RACK_LOCAL 可以分别设置spark.locality.wait.process、spark.locality.wait.node、sp
Spark任务调优（1）——数据本地化
狂奔的蜗牛
03-23 1564
Spark官网有关于数据本地化的相关介绍：http://spark.apache.org/docs/2.1.0/tuning.html#data-locality本地化说明数据本地化可以对Spark任务的性能产生重大影响。如果数据和操作数据的代码在一块，计算通常会很快。但是如果数据和代码不在一起，就必须将一方移动到另一方。通常，将序列化的代码块从一个地方发送到另一个地方要比发送数据更快，因为代码的...
Spark 内核(四) --------- Spark 任务调度机制
在森林里麋了鹿
09-05 633
Spark 任务调度机制
Spark的调度系统
跋跋寒的博客
08-23 8908
一，简介 Spark调度机制可以理解为两个层面的调度。首先，是Spark Application调度。也就是Spark应用程序在集群运行的调度，应用程序包括Driver调度和Executor调度。其次，就是每个Spark Application都会有若干Jobs(Spark Actions)，然后这些job是以何种机制，在Executor上执行的，也是需要一个调度管理的机制，该层面调度也可以理解...
Spark2.3.2源码解析： 10. 调度系统 Task任务提交 （二） TaskScheduler : 本地化计算
张伯毅的专栏
12-25 5875
  架构图：   Standalone模式提交运行流程图：   首先写一个WordCount代码（这个代码，为了观察多个stage操作，我写了两个reducebykey 函数） 源代码：   直接执行代码，查看spark执行程序时，将代码划分stage生成的DAG流程图   可知： WordCount 在stage划分的时候，划分为三个stage  ...
Spark3.0源码分析-数据本地化优先级及延迟调度策略
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-02 1133
spark3.0基于源码分析数据本地化及延迟调度策略
关于spark中 task数据本地化的五种方式
qq_41203888的博客
03-27 660
spark中,数据的本地化方式分为五种 PROCESS_LOCAL : 进程本地化 , task计算的数据在当前Executor中 不同task计算的时候可以共同用这一个数据集,效率高,节省资源 NODE_LOCAL : 节点本地化 , task计算的数据在当前节点上,task计算的时候不需要跨节点拉取数据,速度也是比较快的 NO_PREF : 没有本地化 ,这个方式的意思就是数据不是本地化的数...
spark数据本地化级别
05-12
Spark 数据本地化级别是指在执行 Spark 任务时，Spark 集群如何将数据和任务调度到可用的节点上。Spark 数据本地化级别有三种： 1. PROCESS_LOCAL：将任务调度到同一节点上的 Executor，这个节点上已经有任务所需要的数据，因此无需从其他节点上获取数据。 2. NODE_LOCAL：将任务调度到同一节点组中的 Executor，这个节点组中的某个节点已经有任务所需要的数据，因此可以从本地节点获取数据。 3. ANY：将任务调度到任意可用的 Executor，即使该 Executor 上没有所需的数据，也会从其他节点上获取数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值