
Spark源码学习
文章平均质量分 94
haixwang
。。。。。。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark源码之路(一):绝对靠谱,Windows下用IDEA搭建源码阅读环境
先贴2张最后成功的图(和以前不build直接导入源码到IDEA有很大不同) 【预告:对Windows Subsystem for Linux感兴趣的,下方提供一篇好文。】总的说,就4步骤:网上很多人直接使用SBT/MAVEN导入源代码,我那样操作之后,IDEA上显示的各种目录不是我预想中的那样(或者说经过比较,我看见经过更多操作的显示出来的更像是对的)。而且在本地执行命令行显然比IDE更“轻”,提示信息也更详原创 2017-11-13 20:31:27 · 1819 阅读 · 0 评论 -
Spark源码之路(二):Master原理剖析与源码分析
一、涉及到的源码列表:Master.scalaWorkerInfo.scalaDriverDescription.scalaRecoveryState.scalaPersistenceEngine.scalaMetricsSystem.scalaApplicationDescription.scalaDeployMessage.scala 等等二、语言叙述(包括截图原创 2018-01-12 13:32:15 · 1756 阅读 · 0 评论 -
宽窄依赖以及shuffle的部分源码理解
注:此文不谈宽窄依赖的概念以及计算失败时恢复的区别【关于这方面的博文,书籍都有不少但几乎雷同的讲解,搜索即可,比如】,仅从源码的角度学习下实现区别,并验证一些说法。搜索Dependency,有以下类: Dependency.scalaDependency/** * :: DeveloperApi :: * Base class for dependencies. *...原创 2018-05-15 23:35:38 · 920 阅读 · 0 评论 -
TODO集合
从今天开始,我把所有18年起的TODO,都同步到这篇文章。 一方面是方便自己常“回来看看“,记得解决这些疑惑; 另一方面,希望知道/有解决思路的前辈们能留言或者(QQ911283415)指点一二,感激! (序列中所有非链接字体以及【】中的文字,可在文章中搜索定位)九、2018年06月23日:关于Object类一些重要方法的深入理解及重载第一段测试代码中,两个Integer引用未一...原创 2018-06-23 22:23:44 · 416 阅读 · 0 评论