========= 基础 ========= 1、RDD 的 基础 https://www.jianshu.com/p/fca10efd2315 https://www.jianshu.com/p/6319d6239f03 https://www.jianshu.com/p/64ade88f0e19 https://blog.youkuaiyun.com/weixin_38750084/article/details/82955062 源码 https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/SparkPi.scala
超级会员免费看
本文深入探讨了Spark的基础知识，包括RDD的概念、driver的功能、依赖类型以及map与flatMap的区别。此外，还详细介绍了Spark的stage划分、RDD的特性及优化策略。对于进阶部分，文章讨论了防止OOM的方法、Hadoop与Spark Shuffle的区别、持久化的重要性以及Transformation和Action的定义。此外，还涵盖了Spark作业执行原理、调度流程、减少IO的策略以及一致性语义和CAP理论等内容，最后提到了任务失败的处理机制。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
9072
8272
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
