SparkCore

最新推荐文章于 2024-12-15 12:35:24 发布

我想写代码！！

最新推荐文章于 2024-12-15 12:35:24 发布

阅读量139

点赞数

分类专栏： Spark 文章标签： SparkCore总结

本文链接：https://blog.youkuaiyun.com/stack_11/article/details/103173587

版权

Spark 专栏收录该内容

2 篇文章

订阅专栏

本文深入探讨了SparkCore的核心概念，包括RDD的定义、特性、创建方式及使用方法，同时介绍了Spark中的广播变量和累加器，为读者提供了全面的Spark编程指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkCore总结

1. RDD

1.1定义：

··········1.1.1数据集：存储数据的计算逻辑

··········1.1.2分布式：数据的来源&计算都是分布式的

··········1.1.3弹性：

································血缘（依赖关系）：Spark可以通过特殊的处理方案简化依赖关系
································计算：Spark的计算是基于内存的，所以性能很高，可以和磁盘灵活切换
································分区：Spark在创建默认分区后，可以通过指定的算子来改变分区数量
································容错：Spark在执行计算时，如果发生了错误，需要进行容错重试处理

··········1.1.4Spark中分区的数量：

································Executor:可以通过提交应用的参数进行设定
································partition:默认情况下，读取文件采用的是hadoop的切片规则，如果读取内存中的数据,可以根据特点的算子进行设定。可以通过其他的算子进行改变。多个阶段的场合，下个阶段的分区数量取决于上个阶段最后的分区数量，但是可以在相应的算子中进行修改
································Stage:1（resultStage）+shuffle依赖的数量（shuffleMapStage）划分任务的目的就是为了任务执行的等待，因为Shuffle的过程需要落盘
································Task:原则上一个分区就是一个任务但是实际应用中，可以动态调整