20、Spark核心编程之Spark架构原理

本文详细解析了Spark的架构组成,包括Driver、Master、Worker和Executor的角色与职责,以及它们之间的交互过程。从Driver进程的启动到任务的执行,再到RDD的并行计算,全面阐述了Spark的工作原理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. Driver
    Driver(进程),我们编写的Spark程序就在Driver上,由Driver进程执行
  2. Master
    Master是个进程,主要是负责资源的调度和分配,还有集群的监控等等职责
  3. Worker
    Worker是个进程,主要负责有两个,一个是用自己的内存,存储RDD的某个或某些partition,另一个是启动其他进程和线程,对RDD上的partition进行并行的处理和计算
  4. Executor
  5. Task
    Executor和Task,其实就是负责执行,对RDD的partition进行并行计算,也就是执行我们对RDD定义的,比如map、flatMap、reduce等算子操作

     

    13274599-cd4aaae3b5f02fdb.png

    Spark架构原理.png

  1. Driver进程启动后,会做一些初始化操作,在这个过程中,就会发送请求到Master上,进行Spark应用程序的注册,说白了,就是让master知道,有一个新的Spark应用程序要运行
  2. Master,在收到了Spark应用程序的注册申请之后,会发送请求给Wroker,进行资源的调度和分配,资源分配,就是executer的分配
  3. Wroker收到Master的请求之后,会为Spark应用启动Executor
  4. Executor启动之后,会向Driver进行反注册,这样,Driver就知道,哪些Executor是为它进行服务的了
  5. Driver注册了一些Executor之后,就可以开始正式执行我们的spark应用程序了,首先第一步,就是创建初始RDD读取数据源
  6. HDFS文件内容被读取到多个Worker节点上,形成内存中的分布式数据集,也就是初始RDD
  7. Driver会根据我们对RDD定义的操作,提交一大堆task去Executor上
  8. Executor收到task之后,会启动多个线程来执行task
  9. task就会对RDD的partition数据执行指定的算子操作,形成新的RDD的partition,然后Driver就会向Executor提交新的task
资源下载链接为: https://pan.quark.cn/s/22ca96b7bd39 在 IT 领域,文档格式转换是常见需求,尤其在处理多种文件类型时。本文将聚焦于利用 Java 技术栈,尤其是 Apache POI 和 iTextPDF 库,实现 doc、xls(涵盖 Excel 2003 及 Excel 2007+)以及 txt、图片等格式文件向 PDF 的转换,并实现在线浏览功能。 先从 Apache POI 说起,它是一个强大的 Java 库,专注于处理 Microsoft Office 格式文件,比如 doc 和 xls。Apache POI 提供了 HSSF 和 XSSF 两个 API,其中 HSSF 用于读写老版本的 BIFF8 格式(Excel 97-2003),XSSF 则针对新的 XML 格式(Excel 2007+)。这两个 API 均具备读取和写入工作表、单元格、公式、样式等功能。读取 Excel 文件时,可通过创建 HSSFWorkbook 或 XSSFWorkbook 对象来打开相应格式的文件,进而遍历工作簿中的每个 Sheet,获取行和列数据。写入 Excel 文件时,创建新的 Workbook 对象,添加 Sheet、Row 和 Cell,即可构建新 Excel 文件。 再看 iTextPDF,它是一个用于生成和修改 PDF 文档的 Java 库,拥有丰富的 API。创建 PDF 文档时,借助 Document 对象,可定义页面尺寸、边距等属性来定制 PDF 外观。添加内容方面,可使用 Paragraph、List、Table 等元素将文本、列表和表格加入 PDF,图片可通过 Image 类加载插入。iTextPDF 支持多种字体和样式,可设置文本颜色、大小、样式等。此外,iTextPDF 的 TextRenderer 类能将 HTML、
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值