spark RDD相关概念和运行架构

核心概念

- RDD定义：弹性分布式数据集，是Spark中基础数据处理抽象，具弹性、不可变、可分区及并行计算特性。

弹性

存储的弹性：内存与磁盘的自动切换；

容错的弹性：数据丢失可以自动恢复；

计算的弹性：计算出错重试机制；

分片的弹性：可根据需要重新分片。

➢ 分布式：数据存储在大数据集群不同节点上

➢ 数据集：RDD 封装了计算逻辑，并不保存数据

➢ 数据抽象：RDD 是一个抽象类，需要子类具体实现

➢ 不可变：RDD 封装了计算逻辑，是不可以改变的，想要改变，只能产生新的 RDD，在新的 RDD 里面封装计算逻辑

➢ 可分区、并行计算

- 核心属性：涵盖分区列表、分区计算函数、RDD之间依赖关系、分区器（可选）、首选位置（可选） 。

执行与特性

- 执行原理：在Yarn环境下，经启动集群、申请资源、划分任务、发送任务步骤，RDD封装逻辑生成Task供Executor计算。

- 序列化：涉及闭包检查、序列化方法和属性，介绍Kryo序列化机制。

- 依赖关系：含血统关系、窄依赖、宽依赖，介绍RDD任务划分及相关概念。

- 持久化：通过Cache或Persist方法存储结果，涉及存储级别、检查点设置等。

- 分区器：支持Hash分区和Range分区，用于自定义分区 。

数据操作

- 文件读取与保存：从文件格式（文本、Sequence、对象文件等）和数据格式（本地文件系统、HDFS等）维度介绍数据读取与保存方式。

架构基础

- 运行架构：Spark 框架采用master - slave结构 ，Driver为master负责作业任务调度，Executor为slave负责实际任务执行。

核心组件

- Driver：执行Spark任务main方法，负责将用户程序转为作业、调度任务、跟踪Executor执行情况、通过UI展示运行情况。

- Executor：集群工作节点中的JVM进程，运行具体任务，通过块管理器为RDD提供内存存储。

- Master & Worker：独立部署环境中，Master负责资源调度分配与集群监控，Worker由Master分配资源处理计算数据。

- ApplicationMaster：Hadoop用户向YARN集群提交应用时，用于申请资源容器、运行任务、监控执行及处理异常。

核心概念

- Executor与Core：介绍Executor作为计算节点，以及相关启动参数如数量、内存、虚拟CPU核数配置 。

- 并行度：指集群并行执行任务数量，可依框架默认配置或动态修改 。

- 有向无环图（DAG）：由Spark程序执行时数据流向抽象，用于表示程序拓扑结构，是第二代计算引擎支持特性，Spark为第三代计算引擎支持Job内部DAG和实时计算。

提交流程

- Yarn Client模式：用于监控调试，Driver在客户端执行，介绍启动及任务执行流程。

- Yarn Cluster模式：用于实际生产，Driver在Yarn集群资源中执行，介绍启动及任务执行流程。