Spark调优 数据本地化调优

已于 2024-07-02 22:09:55 修改
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据-spark 文章标签： spark 大数据 分布式
于 2020-07-04 11:29:19 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/80467920
本文深入探讨Spark数据本地化的重要性，分析源代码并提供流程图解释数据本地化的各个阶段。介绍了如何从PROCESS_LOCAL逐步降低到NODE_LOCAL、RACK_LOCAL，并强调了优化的时机与方法，包括调整等待时间和观察日志，以提升任务执行效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

1. 数据本地化背景

数据本地化对于Spark Job性能有着巨大的影响。如果数据以及要计算它的代码在一起（一个work节点上），那么性能会非常的高。但是如果数据和计算它的代码是分开的，那么其中之一必须到另外一方的机器上，通常来说移动计算比移动数据速度要快，因为代码很小。Spark也正是基于这个数据本地化的原则来构建task调度算法的。

2. 源代码

package org.apache.spark.scheduler

import org.apache.spark
了解本专栏 订阅专栏 解锁全文
Spark调优：性能调优、JVM调优、shuffle调优、算子调优、troubleshooting调优、数据倾斜
Big_data_implicit_
12-27 2818
目录 一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长 三、shuffle性能调优 1、shuffle的原理 2、shuf...
spark调优
q495673918的博客
06-27 958
目录1.官网硬件配置建议2.官网优化建议1.数据序列化优化2.确定内存消耗大小的方法3.结构优化4.gc优化1.度量GC的影响2.GC优化5.并行度设置6.reduce任务的内存使用7.广播变量8.数据局部性3.spark参数1.num-executors2.executor-memory3.executor-cores4.driver-memory5.spark.default.parallelism6.参数参考示例官网建议Hardware Provisioning - Spark 3.3.0 Docum
[spark] 数据本地化及延迟调度
UFO的博客
10-18 1357
Spark本地化即移动计算而不是移动数据，而现实又是残酷的，不是想要在数据块的地方计算就有足够的资源提供，Spark的延迟调度应运而生，资源不够可在限制时间内不断重试，超过限制时间后还无法启动则降低要求再尝试启动……本地化级别（Locality Levels） PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中；计算数据的task由executor
spark新能优化之数据本地化
weixin_34384557的博客
07-13 174
数据本地化的背景: 数据本地化对于Spark Job性能有着巨大的影响。如果数据以及要计算它的代码是在一起的，那么性能当然会非常高。但是，如果数据和计算它的代码是分开的，那么其中之一必须到另外一方的机器上。通常来说，移动代码到其他节点，会比移动数据到代码所在的节点上去，速度要快得多，因为代码比较小。Spark也正是基于这个数据本地化的原则来构建task调度算法的。 数据本地化，指的是，数据离计...
Spark数据本地化-->如何达到性能调优的目的
一夜飘零
04-13 1875

 Spark数据本地化-->如何达到性能调优的目的 1.Spark数据的本地化：移动计算，而不是移动数据 2.Spark中的数据本地化级别： TaskSetManager 的 Locality Levels 分为以下五个级别： PROCESS_LOCAL  NODE_LOCAL NO_PREF    RACK_LOCAL AN...
Spark笔记之数据本地性（data locality）
weixin_30399055的博客
01-22 459
一、什么是数据本地性（data locality） 大数据中有一个很有名的概念就是“移动数据不如移动计算”，之所以有数据本地性就是因为数据在网络中传输会有不小的I/O消耗，如果能够想办法尽量减少这个I/O消耗就能够提升效率。那么如何减少I/O消耗呢，当然是尽量不让数据在网络上传输，即使无法避免数据在网络上传输，也要尽量缩短传输距离，这个数据需要传输多远的距离（实际意味着数据传输的代价...
Spark性能调优之数据本地化
JasonZhangOO的博客
02-22 1271
    本篇blog讲述实际spark项目中调优的一个小技巧，调节数据本地化的等待时长。    Spark在Driver上，对Application的每一个stage的task，进行分配之前，都会计算出每个task要计算的是哪个分片数据，RDD的某个partition；Spark的task分配算法，优先，会希望每个task正好分配到它要计算的数据所在的节点，这样的话，就不用在网络间传输数据；   ...
spark调优.rar
08-05
Spark调优是一个复杂而重要的过程，它涉及到多个层面，包括资源管理、内存配置、代码优化、数据 shuffle 及数据本地化等。以下是对这些关键知识点的详细解释： 1. **资源调优**：Spark运行在分布式环境中，资源管理...
【Spark系列】：Spark的数据本地化
hxcaifly的博客
01-01 1408
1.数据的本地化级别有哪些？ Spark 中任务的处理需要考虑数据的本地性，以 spark 1.6 为例，目前支持以下几种： PROCESS_LOCAL：进程本地化，表示 task 要计算的数据在同一个 Executor 中。 NODE_LOCAL：节点本地化，速度稍慢，因为数据需要在不同的进程之间传递或从文件中读取。分为两种情况，第一种：task 要计算的数据是在同一个 worker 的不同 ...
Spark数据本地化
波哥在路上
01-25 433
1.Spark数据的本地化：移动计算，而不是移动数据 2.Spark中的数据本地化级别： TaskSetManager 的 Locality Levels 分为以下五个级别： PROCESS_LOCAL NODE_LOCAL NO_PREF RACK_LOCAL ANY PROCESS_LOCAL 进程本地化：task要计算的数据在同一个Executor中 NODE_LOCAL 节点本...
13.2 Spark数据本地化
心雨先生
08-31 252
大数据计算的原则，数据不移动，计算移动 ----数据本地化 Application的执行流程： job在执行之前，首先是由DAGScheduler负责切割Job，划分stage（依据宽窄依耐），DAGScheduler会以taskSet的形式发送TaskScheduler，TaskScheduler会根据数据本地化的算法，发送task到相Executor中执行 如果发送到Executor中的...
spark从入门到放弃二十五:Spark 性能优化(8)数据本地化
u012957549的博客
03-26 2973
文章地址：http://www.haha174.top/article/details/255830 数据本地化对于spark job 性能 有着巨大的影响，如果数据以及要计算它的代码是在一起的那么性能会相当的高。但是如果数据和代码是分开的，那么其中之一必须到另外一方的机器上。通常来说移动代码到其他的节点，会比移动数据到其他的节点的速度要快的多，因为代码较小。spark也正是基于这个数据本地化的...
Spark本地化调度
瓜牛呱呱的博客
06-16 694
Spark的task一般都会分发到它所需数据的那个节点，这称之为”NODE_LOCAL”。但在资源不足的情况下，数据所在节点未必有资源处理task，因此Spark在等待了“spark.locality.wait”所配置的时间长度后，会退而求其次，分发到数据所在节点的同一个机架的其它节点上，这是“RACK_LOCAL”。当然，也有更惨的，就是再等了一段“spark.locality.wait”的时间长
Spark调优：数据本地化（调优）
不花的花和尚的博客
10-19 845
数据本地化的级别： PROCESS_LOCAL task要计算的数据在本进程（Executor）的内存中。 NODE_LOCAL task所计算的数据在本节点所在的磁盘上。 task所计算的数据在本节点其他Executor进程的内存中。 NO_PREF task所计算的数据在关系型数据库中，如mysql。 RACK_LOCAL task所计算的数据在同机架的不同节点的磁盘...
Spark3.0源码分析-数据本地化优先级及延迟调度策略
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-02 1139
spark3.0基于源码分析数据本地化及延迟调度策略
【原】Spark数据本地性
weixin_30533797的博客
01-11 186
Spark数据本地性 分布式计算系统的精粹在于移动计算而非移动数据，但是在实际的计算过程中，总存在着移动数据的情况，除非是在集群的所有节点上都保存数据的副本。移动数据，将数据从一个节点移动到另一个节点进行计算，不但消耗了网络IO，也消耗了磁盘IO，降低了整个计算的效率。为了提高数据的本地性，除了优化算法（也就是修改spark内存，难度有点高），就是合理设置数据的副本。设置数据的副本，这需要通过配...
Spark的数据本地化
fanyao4144的博客
12-10 1154
数据本地化对于Spark Job性能有着巨大影响。如果数据以及要计算它的代码是在一起的，那么性能必然会很高，若不在一起，则其中之一必须移动到另外一方机器上，通常移动代码的速度会快得多。Spark基于这个数据本地化的原则来构建task调度算法的。 数据本地化：数据离计算它的代码有多近。基于数据距离代码的距离，有几种数据本地化级别： 1. PROCESS_LOCAL :数据和计算它的代码在同一个JV
Spark优化----Spark 性能调优
最新发布
天冬忘忧的博客
12-17 2882
本文介绍了Spark的常规性能调优；算子调优；Shuffle调优；JVM调优
Spark数据本地化常用级别
foreverlove_ty的博客
04-07 1772
Spark中数据的本地化常用方式分为5种 1、PROCESS_LOCAL : 进程本地化，指task计算的数据在本进程（Executor）中 2、NODE_LOCAL：节点本地化，指task计算的数据在本节点（node）的磁盘上，当task在本进程中一直没有执行（如果Driver分发task 3s后没有执行，且重复5次后），此时Driver就把这个没有执行的task发送到本节点的其他execu...
Spark性能调优技巧与面试实战指南
通过参数 `spark.locality.wait`，可以调节数据本地化的等待时间。 10. **垃圾回收优化**：优化垃圾回收（GC）对于提升 Spark 性能也非常重要。合理调整 JVM 堆大小，合理选择垃圾回收器，可以减少 GC 对性能的影响...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值