Spark的计算本地性

最新推荐文章于 2025-05-13 11:36:06 发布
原创 最新推荐文章于 2025-05-13 11:36:06 发布 · 1.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Spark 不同的 Locality Level

  • PROCESS_LOCAL: 数据和 task 在同一个executor jvm 中，最好的就是这种 locality。
  • NODE_LOCAL: 数据在同一个节点上。比如数据在同一个节点的另一个 executor上；或在 HDFS 上，恰好有 block 在同一个节点上。速度比 PROCESS_LOCAL 稍慢，因为数据需要在不同进程之间传递或从文件中读取
  • NO_PREF: 数据从哪里访问都一样快，不需要位置优先
  • RACK_LOCAL: 数据在同一机架的不同节点上。需要通过网络传输数据及文件 IO，比 NODE_LOCAL 慢
    ANY: 数据在非同一机架的网络上，速度最慢。


Spark 

最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark | 数据本地性
俗人
12-04 487
Spark在Driver上会对Application的每一个Stage的Task进行分配前，都会计算出每个Task要计算的是哪个分片数据，RDD的某个partition；Spark的Task分配算法会让每个Task正好分配到它要计算的数据所在的节点，这样不用在网络间传输数据，因此在DAG划分Stage分配Task任务时候就确定好了数据本地性。 但通常来说，很有可能因为节点A的计算资源和计算能力...
Spark Task：移动计算策略——任务调度数据本地性
Big_data_implicit_
12-15 763
PROCESS_LOCAL：一个JVM内部，将RDD缓存、Executor、数据所在的datanode在同一个进程内 NODE_LOCAL：在多个Executor之间，同一台主机上进行调度 RACK_LOCAL：在同一个机架内 NO_PREF：不考虑 ANY：任意都可以 其中优先的顺序是：PROCESS_LOCAL>NODE_LOCAL>RACK_LOCAL 可以分别设置spark.locality.wait.process、spark.locality.wait.node、sp
Spark数据本地性
weixin_34176694的博客
08-02 127
1、文件系统本地性 　　第一次运行时数据不在内存中，需要从HDFS上取，任务最好运行在数据所在的节点上； 2、内存本地性 　　第二次运行，数据已经在内存中，所有任务最好运行在该数据所在内存的节点上； 3、LRU置换 　　如果数据只缓存在内存中而并没有缓存到磁盘上，此时数据被置换出内存，则从HDFS上读取； 　　如果数据不仅缓存到内存而且还缓存到磁盘上，此时数据被置换出内存，则从磁盘上直...
3分钟教会你们怎么配置Sparklocal模式（本地模式）
最新发布
Dengyahui04的博客
05-13 342
**安装Hadoop Winutils**（仅限Windows）：下载与Spark和Hadoop版本匹配的`winutils.exe`，并将其放置在如`C:\hadoop\bin`的目录中，设置`HADOOP_HOME`环境变量。- 如果需要明确指定本地模式，可以在启动Spark Shell或提交作业时使用`--master`选项，如`spark-shell --master local[4]`（使用4个核心）。- 在Spark Shell中，可以通过检查`master`设置来确认是否为本地模式。
【原】Spark数据本地性
weixin_30533797的博客
01-11 185
Spark数据本地性 分布式计算系统的精粹在于移动计算而非移动数据，但是在实际的计算过程中，总存在着移动数据的情况，除非是在集群的所有节点上都保存数据的副本。移动数据，将数据从一个节点移动到另一个节点进行计算，不但消耗了网络IO，也消耗了磁盘IO，降低了整个计算的效率。为了提高数据的本地性，除了优化算法（也就是修改spark内存，难度有点高），就是合理设置数据的副本。设置数据的副本，这需要通过配...
spark的数据本地性
早上八点的技术窝
09-15 705
一、数据本地性 spark在任务调度的时候，会检查数据存储的位置，本着“移动数据不如移动计算”的原则，会优先将task任务部署在其将要处理的数据所在的节点上，可以最大程度地减小数据传输带来的网络开销，减少IO操作，称为spark的数据本地性。 二、本地性的分类 Process_local：Excutor进程（task线程）读取缓存在本地节点上的数据 Node_local：读取本地节点硬盘上的数据...
sparkR:从本地计算机轻松运行sparkR的脚本
05-19
1. **并行化计算**：SparkR利用DataFrame的并行性进行大规模计算，例如使用`groupByKey()`、`reduceByKey()`等函数进行聚合操作。 2. **广播变量**：广播变量可以用来高效地在集群中分发小数据集，使用`broadcast()...
一文入门大数据准流式计算引擎Spark【万字详解，全网最新】
qq_73181349的博客
09-04 1831
Spark发展、特点、概述，三大组件：Spark Core、Saprk SQL、Spark Streaming，RDD算子、RDD转换和行动操作、RDD持久化和缓存、检查点机制、宽窄依赖、DAG、Stage，Spark SQL发展、概述、特点、dataframe、dataset，Spark Streaming工作机制、缓存、容错、DStream、常见流式计算和离线计算，Spark多种部署方式
spark -- 数据计算框架
weixin_46362494的博客
11-28 1119
spark作为大数据组件中不可或缺的一大部分 是我们学习和了解大数据的过程中必须要经历和学习的部分 本人将自己当初学习大数据的一点点心得和体会作为笔记 希望可以给同样在学习大数据同学提供一点点的帮助 同时也希望可以得到大家的指正。
Spark计算过程分析
原创学无止尽
05-28 5620
基本概念 Spark是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark延续了Hadoop的MapReduce计算模型，相比之下Spark的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。同时Spark也提供了更丰富的计算API。 MapReduce是Hadoop和Spark的计算模型，其特点是Map和Reduce过程
spark数据本地性
weixin_44024821的博客
07-30 312
在spark源码(六)–task提交算法的最后，我们提到过决定task运行位置的两个因素：1.task的最佳位置即数据所在位置；2.task的本地化级别。 task的本地化级别有5种： PROCESS_LOCAL 进程本地化 相当于数据（partition）和task在同一个executor中 NODE_LOCAL 节点本地化 数据和task在一个worker节点上 NO_PREF 没有本地化级别...
如何理解Spark的数据本地性
epitomizelu的专栏
07-06 2033
一，数据本地性是什么 spark的RDD有5大特性，其中之一是数据偏好属性：preferredLocations ，这是一个集合。 在任务调度的时候，基于Executor和数据的位置信息，按照“移动计算比移动数据便宜”的规则，尝试将RDD对应的计算调度到数据所在的结点，实现计算数据的本地化。 1，举个例子 而计算数据偏好位置是从source开始的，以HDFS为例，可以简单的认为一个block就是一个spilt。 如果集群有100个节点，每个block有3个副本，这3个副本会分布在3个节点，hdfs会随机选取
30分钟概览Spark分布式计算引擎
热门推荐
简单就好
03-04 2万+
Spark入门30分钟概览 1、为什么出现Spark？ 2、Spark核心是什么？ 3、Spark怎么进行分布式计算？ 4、Spark在互联网公司的实践应用？
Spark性能优化第五季-数据本地性调优
NASAXK的博客
03-20 4581
一：Spark性能调优之序列化 1、序列化最重要的原因是内存空间有限（减少GC的压力，最大化避免Full GC的产生，因为一旦产生Full GC，则整个Task处于停止状态！）、减少磁盘IO的压力、减少网络IO的压力； 2、什么时候会必要的产生序列化和反序列化？发送磁盘IO和网络通信的时候会序列化和反序列化，更为重要的考虑序列化和反序列化的时候有另外两种情况：1）Persist（Checkpo
Spark分布式计算原理
wsjslient的博客
01-06 226
目录一、RDD依赖与DAG原理1.1 RDD的转换 一、RDD依赖与DAG原理         Spark根据计算逻辑中的 RDD的转换与动作生成 RDD的依赖关系，同时这个计算链也形成了逻辑上的 DAG。 1.1 RDD的转换 e.g.(以wordcount为例） package spark import org.apache.spark.{SparkConf,SparkContext} object WordCount{
Spark性能调优-数据本地性
u013939918的博客
03-09 1622
性能调优 数据本地性 Spark在Driver上，对Application的每一个stage的task，进行分配之前，都会计算出每个task要计算的 是哪个分片数据，RDD的某个partition；Spark的task分配算法，优先，会希望每个task正好分配到它要 计算的数据所在的节点，这样的话，就不用在网络间传输数据； 但是呢，通常来说，有时，事与愿违，可能t
深入理解Spark的数据本地性
m0_70131998的博客
01-14 596
在分布式计算中，数据通常存储在远程的存储系统中（如HDFS），而计算任务则分布在集群中的多个节点上。通过使用数据本地性技术，Spark可以有效地利用集群中的资源，并提高数据处理的速度和效率。当一个任务需要处理某个分区的数据时，它会尽可能在该节点上运行，从而减少数据传输的时间和成本。即使某个节点出现故障，其他节点仍然可以提供数据的备份。由于减少了网络传输的次数和数据传输的大小，使用数据本地性技术可以降低存储和网络的成本。通过使用数据本地性技术，Spark可以避免频繁的网络传输，从而提高数据处理的速度和效率。
Spark高速分布式计算实战
"Fast Data Processing with Spark 是一本关于Spark高速计算框架的电子书，旨在提供Spark的易用性与高性能分布式计算的深入理解。" Spark是一个开源的并行计算框架，由Apache软件基金会维护，它专注于大数据处理的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值