Spark-Core源码学习记录
关注
分享
扫一扫
御街打码
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark-Core源码学习记录 1.1 负责通信的三个抽象RpcEnv、RpcEndpoint与RpcEndpointRef
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。本文为RpcEnv、RpcEndpoint、RpcEndpointRef相关内容的介绍，此为阅读后续源码的基础。自Spark 2.1.0之后的底层实现只有Netty，移除了A...原创 2019-04-04 18:48:42 · 421 阅读 · 0 评论 -
Spark-Core源码学习记录 1.Master与Worker的启动注册及相互调用
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。本文承接上文，我们分别进入org.apache.spark.deploy.master.Master和org.apache.spark.deploy.worker.Worker...原创 2019-04-07 15:26:41 · 245 阅读 · 0 评论 -
Spark-Core源码学习记录 0.集群的启动脚本及launcher.Main作用
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。本文为Spark源码系列的开篇，主要内容包括对集群启动相关脚本的流程分析。Spark配置文件...原创 2019-04-03 09:12:39 · 311 阅读 · 0 评论 -
Spark-Core源码学习记录 2 应用提交Submit 及Driver注册流程，以JavaWordCount为例
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。本文是参考：Apache Spark 源码...原创 2019-04-12 17:36:01 · 307 阅读 · 0 评论 -
Spark-Core源码学习记录 1.2 schedule()方法的调度内容
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。本文是对Worker注册过程的补充，在这里Spark-Core源码学习记录 1提及，在Worker向Master注册完成后，Master会调用schedule方法进行资源调度，...原创 2019-04-09 18:53:30 · 246 阅读 · 0 评论 -
Spark-Core源码学习记录 3 SparkContext、SchedulerBackend、TaskScheduler初始化及应用的注册流程
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。从本篇文章开始，进入到Spark核心的部分，我们将依次展开。SparkContext 基石SparkContext在整个Spark运行期间都起着重要的作用，并在其中完成了许...原创 2019-04-16 20:20:55 · 392 阅读 · 0 评论 -
Spark-Core源码学习记录 4 Stage划分以及Task本地性计算与分发
Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。前面篇章中，我们完成了Master与Worker的注册启动，Driver和Executor的注册启动，Application的注册与启动。初始化了SparkContext、Sc...原创 2019-04-23 20:08:18 · 702 阅读 · 0 评论 -
Spark-Core源码学习记录 5 Task的启动及回顾总结
该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。原创 2019-04-28 20:00:15 · 230 阅读 · 0 评论