Spark Shuffle源码领读

最新推荐文章于 2025-12-31 16:58:07 发布
原创 最新推荐文章于 2025-12-31 16:58:07 发布 · 213 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据

本文深入剖析Spark Shuffle过程中，包括ShuffleMapTask执行、数据读取与写入的详细流程。讲解了SortShuffleWriter如何通过ExternalSorter进行数据排序，ShuffleBlockFetcherIterator如何获取并读取本地与远程数据块，以及MapOutputTracker在数据地址与大小获取中的作用。同时阐述了BlockManager在读取与写入数据中的关键角色。

个人总结，以官网为准
如有错误，欢迎指出

在这里插入图片描述

主要步骤：

  • 在excutor线程池里执行ShuffleMapTask时，触发ShufflRdd的compute函数
  • ShuffleRdd 使用BlockStoreShuffleReader 给SortShuffleWriter返回一个迭代器。
    -SortShuffleWriter 间接通过 ExternalSorter 调用迭代器的next函数开始获取shuffle前一步的数据
  • ShuffleBlockFetcherIterator 在初始化的时候，先区分出本地数据块和远程数据块，并通过NettyBlockTransferService获取数据写入文件
  • SortShuffleWriter 通过shuffleId, mapId 把数据从临时文件中使用BlockManager写入block块文件中
    在这里插入图片描述

关于MapOutputTracker的使用

MapOutputTracker 在shuffle过程中用于远程数据地址和大小的获取和上传到MapOutputMaster

  • 在哪里获取数据地址和大小

    BlockStoreShuffleReader 调用MapOutputTrackerWorker的getMapSizesByExecutorId的方法给ShuffleBlockFetcherIterator
    在这里插入图片描述

  • 在哪里上传数据地址和大小给MapoutputMaster
    SortShuffleWriter 使用BlockManager写入数据后，返回一个MapStatus给
    excutor的TaskRunner，然后一路返回到DAGScheduler中的handleTaskCompletion方法中调用MapOutputMaster的registerMapOutput注册信息
    在这里插入图片描述

关于BlockManaer的使用

  • 在哪里读取本地数据
    在ShuffleBlockFetcherIterator 初始化的方法中initialize
    在这里插入图片描述

  • 在哪里读取远程数据
    由于shuffle过程是边读边写所以，读取过程其实是包含写文件的动作的。
    也是在ShuffleBlockFetcherIterator 初始化的方法中initialize，发送了fetch请求。在这里插入图片描述
    然后沿着调用链，调用到NettyBlockTransferService的fetchBlocks，触发OneForOneBlockFetcher start方法，在这个方法中使用下载回调，然后写入一个临时文件。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 在哪里写入数据
    在这里插入图片描述

【Nacos无压力源码领读】(二) 集成 LoadBalancer 与 OpenFeign
wdx7770的博客
08-07 1666
上一篇文章中, 详细介绍了 Nacos 注册中心的原理, 相信看完后, 大家应该完全掌握了 Nacos 客户端是如何自动进行服务注册的, 以及 Nacos 客户端是如何订阅服务实例信息的, 以及 Nacos 服务器是如何处理客户端的注册和订阅请求的;本文承上启下, 在订阅服务实例的基础上, 介绍如何在实例之间进行选择, 实现负载均衡;并详细介绍了负载均衡组件 LocaBanlancer 和函数式调用组件 OpenFeign 是如何与 Nacos 注册中心进行集成的;
【Nacos无压力源码领读】(一) Nacos 服务注册与订阅原理
wdx7770的博客
08-07 1155
本文将详细介绍 Nacos 客户端在启动时进行自动注册原理, 以及Nacos服务器是如何处理客户端的注册与订阅请求的;本文会附带源码解读, 但不会死抠每一行代码, 主要是梳理整个流程, 过程中的关键步骤, 都会由思维导图的形式展现出来;
Spark提交流程源码领读
HanJuly9569的博客
03-17 263
Spark提交流程源码领读 从上图一步步来解析 通过SparkSubmit的脚本使用submit触发 doSubmit(arg[]) 然后自己调用submit(args: SparkSubmitArguments, uninitLog: Boolean), prepareSubmitEnvironment 它主要是使用从前两步解析的参数，选择对应的启动类，启动类不一定是我们写的主类。准备一些后面需要用到参数childArgs，childClasspath，sparkConf 比如yarn模
Spark任务执行流程源码领读
HanJuly9569的博客
03-21 232
流程 CoarseGrainedExecutorBackend 受到启动任务的请求，并将任务反序列化给excutor Excutor将任务描述放到TaskRunner，然后放入线程池中 线程启动后，首先想driver端发送任务状态 并拉取jar等依赖 调用Task的run方法执行（ShuffleMapTask,ResultTask） 主要代码 ...
Spark任务切割提交源码领读
HanJuly9569的博客
03-21 272
概述 RDD的action算子触发SparkContext的runjob 然后触发DAG的runjob方法 DAG执行提交job方法，并递归切割stage DAG将任务提交给TaskSchedulerImpl TaskSchedulerImpl与CoarseGrainedSchedulerBackend等协同将任务封装为TaskSetManger，并请求资源， TaskSchedulerImpl封装任务为TaskDesc并序列化发送给Excutor 总结： 重要的几个类及其作用： DAGSchedu.
【Nacos无压力源码领读】(二) 集成 LoadBanlancer 与 OpenFeign
cnzzs的博客
08-07 1149
上一篇文章中, 详细介绍了 Nacos 注册中心的原理, 相信看完后, 大家应该完全掌握了 Nacos 客户端是如何自动进行服务注册的, 以及 Nacos 客户端是如何订阅服务实例信息的, 以及 Nacos 服务器是如何处理客户端的注册和订阅请求的;本文承上启下, 在订阅服务实例的基础上, 介绍如何在实例之间进行选择, 实...
【Nacos无压力源码领读】(三) Nacos 配置中心与热更新原理详解 敢说全网最细
cnzzs的博客
08-07 768
本文将从 Nacos 配置中心的基本使用入手, 详细介绍 Nacos 客户端发布配置, 拉取配置, 订阅配置的过程以及服务器对应的处理过程;配置订阅以及热更新原理相关的部分, 我看了主流的博客网站, 绝对没有比这更详细的讲解;如果在阅读过程中对文中提到的 SpringBoot 启动过程以及扩展机制不太了解, 或者出现了没见...
【Nacos无压力源码领读】(三) Nacos 配置中心与热更新原理详解超详细解读
wdx7770的博客
08-07 1689
本文将从 Nacos 配置中心的基本使用入手, 详细介绍 Nacos 客户端发布配置, 拉取配置, 订阅配置的过程以及服务器对应的处理过程;配置订阅以及热更新原理相关的部分, 我看了主流的博客网站, 绝对没有比这更详细的讲解;
分布式事务框架 Seata 核心源码解析(保姆级教程)
✨ 欢迎来唠嗑、切磋、一起成长！👋
07-14 936
Seata的核心价值在于通过TC统一协调分布式事务状态，结合RM的SQL拦截能力实现事务自动化管理。源码中三个关键设计值得关注：1.JDBC层代理生成SQL快照（实现回滚）2.全局锁的异步化管理（避免死锁）3,事务日志的可插拔存储（支持高可用部署）
水墨风仿网易蜗牛读书领读的微信小程序页面源码.zip
11-28
水墨风仿网易蜗牛读书领读的微信小程序页面源码，是一套模仿网易蜗牛读书领读功能的微信小程序界面设计和功能实现代码。网易蜗牛读书是一款深受用户喜爱的阅读类应用程序，其领读功能是该应用的特色之一，它为用户...
Flink源码阅读(一)源码环境搭建
abcdef324的博客
04-20 4493
一 引言 Flink源码本身比较复杂，我打算以Flink的Standalone模式为入口，研究当一个jar包被提交进Flink后,flink如何处理的过程。 二 环境搭建 搭建过程可以参考官方文档 https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/depl...
【maap-analysis】spark离线数仓项目完整的开发流程
qq_40607631的博客
12-28 848
本文介绍了一个基于Spark的大数据处理项目架构，采用单项目多模块模式，主要使用Scala+Spark RDD+Spark DataSet技术栈。项目包含工具类准备、数据访问层、业务流程控制、业务逻辑开发和结果输出等模块。重点实现了Spark环境初始化工具类、线程安全的EnvUtil封装、业务数据访问Dao层，以及MAAP和BSMS两个核心业务的处理流程。项目通过RDD操作实现数据预处理、端口匹配、批价计算等功能，最终输出分组统计报表并写入CSV文件。文章还提出了后续优化方向，包括接入Hadoop和Hive
4、Spark 函数_m/n/o/p/q/r
lydms的博客
12-27 1050
Spark SQL提供了多个日期时间创建函数： make_date()：根据年月日创建日期，支持1-9999年范围 make_dt_interval()：通过天/时/分/秒创建时间间隔 make_interval()：通过年/月/周/日/时/分/秒创建时间间隔 make_timestamp()：创建带时区的时间戳 make_timestamp_ltz()：创建本地时区时间戳 这些函数在参数无效时，根据spark.sql.ansi.enabled配置返回NULL或报错。其中时间戳函数支持60秒的特殊处理（自动
基于spark的西南天气数据的分析与应用（源码+论文+部署+安装）
最新发布
知识分享
12-31 890
西南地区地形复杂、受季风影响显著，天气多变，其气象条件不仅关乎当地生态、农业与交通发展，还对下游水资源分配、防洪抗旱至关重要，提升该区域气象预报准确率与数据分析深度具有迫切现实需求。随着科技发展，气象数据量激增，传统处理方法难以应对，而 Spark 作为高效的分布式大数据处理框架，具备内存计算、并行处理等优势，可快速处理海量气象数据。在此背景下，开发基于 Spark 的西南天气数据分析系统，旨在通过大数据技术挖掘气象数据价值，为多行业提供决策支持，助力西南地区气象服务升级与区域发展。
spark性能优化6：内存管理
m0_57280180的博客
12-27 633
资源配置根据数据量和计算类型设置合理的（如 8G-16G），避免过大（GC 压力）或过小（资源浪费）。根据集群总核心数设置合适的，确保充分利用集群 CPU。参数调优开启 Kryo。启用堆外内存。动态调整内存比例：计算密集型调高；缓存密集型调高。代码优化减少对象创建：在算子函数中复用对象，避免在循环中new。使用高效算子代替groupByKey。明智地使用缓存：选择合适的，并及时。优先广播小表：避免不必要的 Shuffle。持续监控频繁查看 Spark UI。
【数据分析】基于Spark链家网租房数据分析可视化大屏（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅
qq_64605578的博客
12-26 1067
本项目基于Spark大数据技术构建链家租房数据分析系统，突破传统单机处理瓶颈。通过分布式爬虫采集20万条/日房源数据，运用Spark MLlib实现特征工程和价格预测（误差率<12%）。创新点包括：实时数据管道每5分钟更新区域热度，地理可视化分层展示价格热力圈与交通路网，Elasticsearch实现毫秒级筛选响应。技术栈整合Spark、Hadoop、GeoSpark等组件，采用Docker-Compose部署，相比传统方案将ETL耗时从小时级缩短至分钟级。项目包含完整源码和技术文档，适用于房产市场动
Spark-Submit参数介绍及任务资源使用测试
weixin_62206215的博客
12-30 797
yarn-client模式中，通过指定“--num-executors”参数则默认为Spark任务启动2个Executor；提交任务后，可以通过WebUI查看当前Application使用资源情况：ApplicationMaster使用2G（1024M+384M=1048M，向上取整为2048M）+1Core资源，启动2个Executor，每个Executor使用2G内存（1024M+384M=1408M，向上取整为2048M）+1Core资源，所以总共在Yarn中使用3Core和6G内存（6144M）。
spark rdd
2401_88638222的博客
12-31 464
按 RDD 操作类型和功能场景，将所有涉及的函数分为RDD 创建函数行动操作函数普通转换操作函数键值对 RDD 专属函数四大类，清晰呈现每个函数的用途、特性和示例。
NinjaVan x 云器Lakehouse: 从传统自建Spark架构升级到新一代湖仓架构
yunqitech的博客
12-31 861
摘要：东南亚物流巨头能者物流(NinjaVan)采用云器Lakehouse湖仓一体架构升级原有Spark+Presto开源数据平台，实现了显著性能提升和成本优化。新架构通过数据湖兼容方案免除数据搬迁，支持99%语法兼容实现平滑迁移。实际效果显示：ETL任务性能提升6倍，BI查询提速2-10倍，总成本降低三分之二。动态库存管理支持秒级资源扩容，解决了业务峰谷资源浪费问题。该方案以嵌入式升级方式实现了低风险架构演进，为未来实时分析和AI应用奠定基础。
单词领读视频教程压缩包
资源摘要信息:"单词领读视频-1.zip" 文件标题和描述均提示，这是一个关于“单词领读视频”的压缩包文件，文件名中不包含其他具体标签信息。从文件名称列表中我们可以得知，该压缩包内部可能包含了一个或多个视频...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值