spark core源码阅读-环境准备(一)

最新推荐文章于 2025-05-22 00:00:00 发布
最新推荐文章于 2025-05-22 00:00:00 发布
阅读量2.1k 收藏 9
点赞数 2
CC 4.0 BY-SA版权
分类专栏： spark源码 文章标签： spark spark源码分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41705780/article/details/79273666
本文介绍了Spark源码阅读的环境准备，包括下载代码、配置IDE以及运行示例。接着概述了Spark的核心组件，如Spark Core、Streaming、SQL、MLlib、GraphX和SparkR。文章深入讲解了关键概念，如RDD的定义、操作类型、Shuffle过程、RDD持久化和Shared Variables（Broadcast Variables和Accumulators）。最后提到了参考资料，帮助读者进一步了解Spark源码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

spark源码阅读-环境准备(一)

基于1.6.0版本结合源码理解spark on yarn

环境准备

下载代码: https://github.com/juntaozhang/spark/tree/my.v1.6.0

git clone https://github.com/juntaozhang/spark.git
git checkout my.v1.6.0
mvn generate-resources generate-test-sources

1.open spark/pom.xml with IDEA
2.generate spark/external/flume-sink/src/main/avro
3.make “target/scala-2.10/src_managed/main/compiled_avro” as a source path
4.then you can run “Build -> Rebuild Project” in IDEA.
5. run org.apache.spark.examples.sql.JsonDemo

spark组件

  • spark core, spark 内核
  • spark streaming, spark流计算(基于batch方式)
  • spark sql
  • MLlib, 机器学习lib库
  • GraphX, 图计算
  • SparkR, 与R语言结合

重要概念

最低0.47元/天 解锁文章

200万优质内容无限畅学
SparkCore源码阅读
01-29
绝对原创，SparkCore源码阅读，适合新手
Spark Core源码分析: Spark任务模型
架构设计
04-20 380
概述 一个Spark的Job分为多个stage，最后一个stage会包括一个或多个ResultTask，前面的stages会包括一个或多个ShuffleMapTasks。 ResultTask执行并将结果返回给driver application。 ShuffleMapTask将task的output根据task的partition分离到多个buckets里。一个ShuffleMapTa...
Spark Core 源码关键环节的深度解析
IT技术学习与工作笔记分享
05-22 921
以下是对 Spark Core 源码关键环节的深度解析，包括核心组件启动与调度机制、Shuffle与调度系统、RDD高级机制。每个环节都细化到具体方法、逻辑、源码片段，附有流程图思路与速记口诀，便于记忆和理解。
Spark-Core源码阅读
wl044090432的博客
01-29 1005
吐血奉献，Spark-Core源码阅读，适合新手，详细请见链接： http://download.youkuaiyun.com/detail/wl044090432/9421721 目录结构为： 一．  Spark的部署方式Standalone、YARN、Mesos. 2 1.      Standalone. 2 2.      Mesos. 3 3.      YARN..
spark-core 源码
weixin_60343465的博客
11-14 975
就是计算一下你读取的文件一共将分成多少个切片（或者说分区） 首先切片大小肯定小于物理文件块的大小用的是 InputFormat接口下的 FileInputFormat2.compute这个函数是指明 我已经分区好了，未来我这个计算要向分区所在的哪个地方移动去，也就是计算向数据移动 我要找文件所在物理块号这个函数其实返回的就是一个迭代器，里面有hasNext（）和getNext()方法1. cartesian笛卡尔积笛卡尔积操作 cartesian函数。
spark源码分析(2)-源码阅读环境准备
活的洒脱怪我咯的专栏
03-16 708
在前面介绍wordcount例子时没有对spark源码阅读环境的准备进行说明，本文就主要介绍Spark源码阅读环境的构建 1、环境准备 操作系统采用Ubuntu14.04（案例采用虚拟机中安装模式，桥接模式可访问外网） 下载JDK1.7+，Scala2.10(spark 1.6.3之前采用的是2.10版本，spark2.0之后采用scala2.11版本)，SBT，Maven3.3.9 下载
spark-core_2.12-3.0.0.jar
03-19
比maven仓库下载快很多
spark-2.4.0源码
11-24
Spark是Apache软件基金会下的一个开源...通过对Spark-2.4.0源码的阅读和研究，开发者可以了解到分布式系统设计、内存管理、任务调度、数据并行处理等多方面的知识，这对于提升大数据处理技术的专业水平有着极大的帮助。
spark core源码阅读-内存管理(七)
吃货先生的博客
02-26 523
spark core源码阅读-内存管理(七) 存储级别 每个StorageLevel都会记录是否使用内存或ExternalBlockStore， 如果内存或ExternalBlockStore内存不足，是否将RDD丢弃到磁盘， 是否以串行化格式保存内存中的数据以及是否在多个节点上复制RDD分区。 class StorageLevel private( private va...
Python3实战Spark大数据分析及调度系统开发-基于Spark-Core-RDD弹性分布式数据集的大数据处理框架-包含Python3环境部署-Spark源码编译-RDD五大特.zip
最新发布
08-14
2025电赛预测Python3实战Spark大数据分析及调度系统开发-基于Spark_Core_RDD弹性分布式数据集的大数据处理框架_包含Python3环境部署_Spark源码编译_RDD五大特.zip
spark2.2.0源码阅读---spark core包 --- storage
dianlial的专栏
05-30 361
1、本文目标以及其它说明：    本文主要是介绍storage包下面的类2、storage包下面的数据结构说明sealed abstract class BlockId { 表示的是数据块的标识。具体子类有rddblockid / shuffle / broadcast / task / stream / temlocal/ temshuffle 等等private[storage] class ...
spark core源码阅读-RDD与Stage(五)
吃货先生的博客
02-12 632
我们之前说过RDD只是抽象概念,RDD会被转换成Stage,进而被转换成Task,在Executor上执行,今天我们跟一下源码看spark是 如何转换的 Stage stage是一组并行任务,被作为Spark任务的一部分运行,并且这些任务持有相同的shuffle依赖.每个任务的DAG根据哪边发生 shuffle为边界划stages,并在调度器中执行有序的stages拓扑图,具体分为: ...
Spark（十五）SparkCore的源码解读
weixin_42073629的博客
10-05 264
一、启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。 启动master和slaves主要是执行/usr/dahua/spark/sbin目录下的start-master.sh和start-slaves.sh，或者执行 start-all.sh，其中star-all.sh本质上就是调用start-mast
spark查看源码
weixin_48960305的博客
10-21 670
如果用idea整合spark之后，想查看spark的有格式的源码，可以在项目的根目录的terminal中输入 mvn dependency:resolve -Dclassifier=sources 然后回车，在你要查看的地方 ctrl+鼠标左键就能查看有格式的源码了
spark core源码分析6 Spark job的提交
zhu's 专栏
08-26 1473
首先看一个spark自带的最简单的例子： object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi") val spark = new SparkContext(conf) val slices = if (args.length >
Spark-Core源码学习记录 3 SparkContext、SchedulerBackend、TaskScheduler初始化及应用的注册流程
u011372108的博客
04-16 390
Spark-Core源码学习记录 该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。 从本篇文章开始，进入到Spark核心的部分，我们将依次展开。 SparkContext 基石 SparkContext在整个Spark运行期间都起着重要的作用，并在其中完成了许...
SparkCore任务调度源码阅读_简述Spark任务的调度原理
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
10-17 743
SparkCore任务调度源码阅读: Dependency，Spark将RDD之间的依赖分为窄依赖和宽依赖，源码中对应的定义分别为NarrowDependency和ShuffleDependency。 其中NarrowDependency又有两种OneToOneDependency和RangeDependency两种实现。 NarrowDependency OneToOneDependency用于描述一个子RDD只依赖一个父RDD的情况。 RangeDependency用于描述一个子RDD依赖多个父RDD
spark-core源码阅读-累加器(十)
吃货先生的博客
03-07 1040
spark-core源码阅读-累加器(十) 使用场景 累加器是一种支持并行只能added的特殊变量,常用来计次/求和,我们也可以自行定义新数据类型支持added 基本原理 累加器变量在每个task任务中依次added,把结果传到Driver端进行合并,所以这是分布式计算,只有driver端才能读取累加器最终值 先看一个例子 object AccumulatorTest ...
spark学习之路----配置spark编译源码，准备阅读环境
温润如风的博客
11-17 786
一、我们常用的IDE又Intellij IDEA、Eclipse,我选用的是Eclipse编译spark 第一个是使用多年对它比较熟悉，另一个是社区使用Eclipse编译Spark的资料太少 在Windows系统编译Spark源码，除了安装JDK外，还需要安装以下工具。 （1）安装Scala 由于Spark 2.1.0版本的sbt里指定的Scala版本是2.11.8 ，具体见Spark源码
spark core源码
08-24
值得注意的是，Spark Core 只是 Apache Spark 中的一个子模块，它提供了 Spark 的基本功能，并提供了对第三方扩展库的支持。Spark Core 源码包含了大量核心算法和数据结构的实现，理解和研究 Spark Core 源码有助于...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值