Spark2.1.1<Spark架构综述>

本文介绍了Spark的架构组成,包括Driver、ClusterManager、WorkerNode、Executor及Task等关键组件的作用和交互过程。同时深入解析了RDD(弹性分布式数据集)的概念、属性及其在Spark中的重要作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

内容来自书籍《Spark技术内幕:深入解析Spark内核架构设计与原理》

spark架构如下图所示:
这里写图片描述

Driver是用户编写的数据处理逻辑,这个逻辑中包含用户创建的SparkContext。SparkContext是用户逻辑与Spark集群主要的交互接口,它会和Cluster Manager交互,包括向它申请计算资源等。Cluster Manager负责集群的资源管理和调度,现在支持Standalone、Apache Mesos和Hadoop的YARN。Worker Node是集群中可以执行计算任务的节点。Executor是在一个Worker Node上为某应用启动的一个进程,该进程负责运行任务,并且负责将数据存在内存或者磁盘上。Task是被送到某个Executor上的计算单元。每个应用都有各自独立的Executor,计算最终在计算节点的Executor中执行。

用户程序从最开始的提交到最终的计算执行,需要经历以下几个阶段:

1)用户程序创建SparkContext时,新创建的SparkContext实例会连接到Cluster Manager。
Cluster Manager会根据用户提交时设置的CPU和内存等信息为本次提交分配计算资源,启动Executor。
2)Driver会将用户程序划分为不同的执行阶段,每个执行阶段由一组完全相同的Task组成,这些Task分别作用于待处理数据的不同分区。在阶段划分完成和Task创建后,Driver会向Executor发送Task。

3)Executor在接收到Task后,会下载Task的运行时依赖,在准备好Task的执行环境后,会开始执行Task,并且将Task的运行状态汇报给Driver。

4)Driver会根据收到的Task的运行状态来处理不同的状态更新。Task分为两种:一种是Shuffle Map Task,它实现数据的重新洗牌,洗牌的结果保存到Executor所在节点的文件系统中;另外一种是Result Task,它负责生成结果数据。

5)Driver会不断地调用Task,将Task发送到Executor执行,在所有的Task都正确执行或者超过执行次数的限制仍然没有执行成功时停止。

RDD(弹性分布式数据集)

RDD是只读的、分区记录的集合。RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。这些确定性操作称为转换,如map、filter、groupBy、join。RDD不需要物化。RDD含有如何从其他RDD衍生(即计算)出本RDD的相关信息(即Lineage),Lineage),因此在RDD部分分区数据丢失的时候可以从物理存储的数据计算出相应的RDD分区。
每个RDD有5个主要的属性:
1)partition list,即数据集的基本组成单位。对于RDD来说,每个partition 都会被一个计算任务处理,并决定并行计算的粒度。用户可以在创建RDD时指定RDD的partition 个数,如果没有指定,那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。
2)一个计算每个partition 的函数。Spark中RDD的计算是以partition 为单位的,每个RDD都会实现compute函数以达到这个目的。compute函数会对迭代器进行复合,不需要保存每次计算的结果。
3)RDD之间的依赖关系。RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算。
4)一个Partitioner,即RDD的分区函数。当前Spark中实现了两种类型的分区函数,一个是基于哈希的HashPartitioner,另外一个是基于范围的RangePartitioner。只有对于key-value的RDD,才会有Partitioner,非key-value的RDD的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分片数量,也决定了parent RDD Shuffle输出时的分片数量。
5)一个列表,存储存取每个Partition的优先位置(preferred location)。对于一个HDFS文件来说,这个列表保存的就是每个Partition所在的块的位置。按照“移动数据不如移动计算”的理念,Spark在进行任务调度的时候,会尽可能地将计算任务分配到其所要处理数据块的存储位置。对每一个split计算的优先位置 Preferred Location。比如对一个hdfs文件进行计算时,可以获取优先计算的block locations

以上五个特征中包含四个函数和一个属性,如下所示:

protected def getPartitions: Array[Partition]     //only called once
def compute(split: Partition, context: TaskContext): Iterator[T]
protected def getDependencies: Seq[Dependency[_]] = dips    //only called once
protected def getPreferredLocations(split: Partition): Seq[String] = Nil
@transient val partitioner: Option[Partitioner] = None
<think>好的,我需要帮用户找到与Spring Data Redis 1.3.0.RELEASE、Jedis 2.9.0、commons-pool2 2.4和Cobertura 2.1.1相关的Maven依赖配置示例。首先,我应该检查用户提供的引用内容,看看是否有现成的例子。 引用[3]提到了Spring Data Redis的依赖配置,但版本是Spring Boot的starter,而用户需要的是特定版本的spring-data-redis 1.3.0。这可能意味着需要手动指定版本而不是使用Spring Boot的starter。此外,引用[2]中的例子是spring-data-redis 1.8.9,所以需要调整版本号。 接下来,Jedis 2.9.0在引用[1]中被提到,用户可能希望直接使用这个版本的客户端。连接池方面,引用[3]提到了commons-pool2,用户需要的是2.4版本,这与引用中的一致,所以可以直接引用。 Cobertura 2.1.1不在提供的引用中,但用户需要这个测试覆盖工具的依赖,可能需要单独添加。此外,用户可能还需要Jackson依赖,如引用[1]所述,用于序列化。 现在需要将这些组件的依赖项组合到Maven的pom.xml中。确保每个依赖的groupId、artifactId和版本正确。注意spring-data-redis的版本是否正确,以及是否与其他Spring依赖兼容,但用户可能只需要示例配置,所以暂时按照用户指定的版本处理。 最后,检查是否需要插件配置,特别是Cobertura的Maven插件。用户提供的引用中没有相关信息,但根据经验,Cobertura通常需要插件配置在build部分。 整理这些信息后,形成一个完整的pom.xml示例,包含所有必要的依赖和插件配置,并添加注释说明每个部分的作用。同时,提醒用户版本兼容性的问题,建议测试和调整版本以确保兼容性。</think>以下是针对您需求的Maven依赖配置示例,包含Spring Data Redis 1.3.0、Jedis 2.9.0、commons-pool2 2.4和Cobertura 2.1.1的完整配置: ```xml <!-- Spring Data Redis 核心依赖 --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redis</artifactId> <version>1.3.0.RELEASE</version> </dependency> <!-- Jedis 客户端实现 --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependency> <!-- 连接池依赖 --> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-pool2</artifactId> <version>2.4</version> </dependency> <!-- 序列化支持(推荐添加) --> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.9.8</version> </dependency> <!-- Cobertura 测试覆盖率工具 --> <dependency> <groupId>org.codehaus.mojo</groupId> <artifactId>cobertura-maven-plugin</artifactId> <version>2.1.1</version> <scope>test</scope> </dependency> ``` 注意事项: 1. 此配置基于引用[3]中提到的标准结构,调整了特定版本号 2. Jedis版本与引用[1]中的redis.clients.jedis 2.9.0保持一致 3. commons-pool2版本与引用[3]推荐的连接池版本匹配 4. 添加了Jackson依赖用于对象序列化,符合引用[1]的建议 建议在`<build>`插件配置中添加: ```xml <plugin> <groupId>org.codehaus.mojo</groupId> <artifactId>cobertura-maven-plugin</artifactId> <version>2.7</version> <configuration> <formats> <format>html</format> <format>xml</format> </formats> </configuration> </plugin> ``` 版本兼容性提示: - Spring Data Redis 1.3.0发布于2013年,建议确认与Spring Framework 3.2.x版本的兼容性 - Jedis 2.9.0需要Java 6+环境 - Cobertura 2.1.1已较旧,建议考虑升级到OpenClover等新工具
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值