第一章 Spark的基础原理和特点

最新推荐文章于 2026-01-05 17:09:57 发布
原创 最新推荐文章于 2026-01-05 17:09:57 发布 · 943 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #大数据 #spark

本文探讨了Spark作为计算框架相较于Hadoop的革新之处，聚焦其在YARN中的角色转变，以及主要模块和运行模式。特别指出，Spark常用于取代MapReduce任务，重点在于高效计算。

Spark的基础原理和特点

在这里插入图片描述

Spark和Hadoop的区别？

在这里插入图片描述
由于spark仅仅只做计算，所以现在的架构往往是用spark取代了hodoop中的mapreduce部分，沿用了HDFS和YARN部分。

在这里插入图片描述

Spark框架模块

在这里插入图片描述

Spark运行模式

在这里插入图片描述

YARN中的角色

在这里插入图片描述

Spark角色：基本和YARN一样，只是名字不一样而已

在这里插入图片描述
在正常情况下，Executor是干活的角色，但是在local模式下，Driver既调度又干活。

总结

在这里插入图片描述
在这里插入图片描述

第10章 Spark（全面解读Spark架构体系）
wyz191的专栏
04-30 4472
概述 Spark简介 Spark诞生于2009年美国加州伯克利分校的AMP实验室，基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark最初的设计目标是使数据分析更快----不仅程序运行速度要快，程序编写也要能快速、容易。为了使程序运行更快，Spark提供了内存计算，减少了迭代计算时的IO开销；而为了使程序编写更为容易，Spark使用简练、优雅的Scala编写，基于Scala提供了交互式的编程体系。 Spark具有如下4个主要特点： （1）运行速度快 ...
大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK
dycacg的博客
12-24 1741
大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK
Spark大数据分析与实战笔记（第二章 Spark基础-03）
从事移动开发八年，csdn博客专家，阿里云特邀专家，华为云云享专家，高级网络信息安全工程师，大数据工程师（高级），python技术开发（高级），现在某大学任教。
01-04 3万+
然后，我们将通过实际的运行架构实例分析，来具体了解Spark在不同的集群模式下的运行架构和工作流程。Spark应用在集群.上运行时，包括了多个独立的进程,这些进程之间通过驱动程序(Driver Program)中的SparkContext对象进行协调，SparkContext对象能够 与多种集群资源管理器(Cluster Manager)通信，一旦与集群资源管理器连接，Spark会为该应用在各个集群节点上申请执行器(Executor) ，用于执行计算任务和存储数据。
Spark大数据技术与应用 第一章Spark简介与运行原理
qq_56437391的博客
03-21 3503
Spark大数据技术与应用 第一章Spark简介与运行原理 1.Spark是2009年由马泰·扎哈里亚在美国加州大学伯克利分校的AMPLab实验室开发的子项目，经过开源后捐赠给Aspache软件基金会，成为了Apache Spark。由Scala语言实现的专门为大规模数据处理而设计的快速通用的计算引擎。 2.Spark的三个特点：（1）易于使用Spark提供高级应用程序编程接口（2）计算速度快，支持交互式计算和复杂算法（3）Spark是一个通用引擎，可用完成各种运算，包括SQL查询、文本处理、机器学习、实.
Spark基础：第一章 spark概述
落落free的博客
05-24 855
Spark Core：第一章 spark概述 文章目录Spark Core：第一章 spark概述一、spark是什么？二、为什么用spark？1. 特点2. MapReduce 与 Spark 对比三、spark生态系统1. 原理2. 组件四、spark中的基本概念五、spark架构设计 一、spark是什么？ 基于内存计算的大数据并行计算框架 背景 (1) 于2009年开发，可用于构建大...
Spark大数据分析与实战笔记（第二章 Spark基础-04）
从事移动开发八年，csdn博客专家，阿里云特邀专家，华为云云享专家，高级网络信息安全工程师，大数据工程师（高级），python技术开发（高级），现在某大学任教。
01-05 2万+
这句来自现代作家安妮宝贝的经典句子，它表达了对他人的赞美与崇拜。按回车键提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“无论是初学者还是有一定经验的开发者，通过深入学习Spark的运行架构与原理，都能够更好地利用Spark处理大数据任务，并开发出高效、可扩展的Spark应用程序。
Spark大数据分析与实战笔记（第二章 Spark基础-01）
热门推荐
从事移动开发八年，csdn博客专家，阿里云特邀专家，华为云云享专家，高级网络信息安全工程师，大数据工程师（高级），python技术开发（高级），现在某大学任教。
01-01 3万+
Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。如下图所示：Spark Core。
Spark大数据分与实践笔记（第二章 Spark基础-01）
Lydia868的专栏
08-19 2311
Spark于 2009 年诞生于美国加州大学伯克利分校的 AMP 实验室，它是一个可应用于大规模数据 处理的统一分析引擎。 Spark 不仅计算速度快，而且内置了丰富的 API ，使得我们能够更加容易编写程序 。
PySpark（一）Spark原理介绍、PySpark初体验及原理
qq_54517101的博客
01-31 1922
Apache Spark是用于处理的统一（unified）分析引擎，其特点就是对任意类型的数据进行自定义计算。
Spark编程基础（Python版）林子雨期末复习
qq_24469795的博客
06-23 2555
Structured sreaming处理的数据与Spark Streaming一样，也是源源不断的数据流，它们之间的区别在于，Spark Streaming采用的数据抽象是DStream(本质上就是一系列RDD),而Structured Streaming采用的数据抽象是DataFrame。用户需要从不通数据源执行各种操作，包括结构化喝非结构化数据；Spark Streaming和Storm最大的区别在于，Spark Streaming无法实现毫秒级的流计算，而storm可以实现毫秒级的流计算。
Chapter3--Spark编程基础-第3章-Spark的设计与运行原理(2018年2月).ppt
06-30
3. 通用性强：Spark提供了一整套技术栈，包括SQL查询、流式计算、机器学习和图算法等组件，支持多样化的应用需求。 4. 运行模式多样：可以独立运行于集群模式中，运行于Hadoop环境中，也可在Amazon EC2等云环境运行...
《Spark 编程基础》 教材讲义 厦门大学 林子雨
04-03
这一章可能涵盖了Hadoop等早期的大数据解决方案，并对比了Spark在处理速度和易用性上的优势。 第2章《Scala语言基础》讲解了Spark主要使用的编程语言Scala。Scala是一种多范式编程语言，它结合了面向对象和函数式...
HarmonyOS 分布式身份认证详解：设备是如何“互相信任”的？
m0_74456227的博客
01-02 1110
摘要 HarmonyOS的分布式身份认证体系解决了多设备协同场景下的安全问题，通过硬件级设备身份、用户账号绑定和系统级可信机制，确保设备真实性、归属关系和调用安全性。系统自动完成设备认证、密钥协商和权限校验，开发者只需使用分布式API，无需手动实现认证逻辑。该机制支持健康数据同步、跨设备控制等场景，为分布式应用提供安全基础。
分布式链路追踪MDC+TraceId
重燃小窗
01-03 415
MDC（Mapped Diagnostic Context）是SLF4J/Logback提供的线程级日志上下文存储，通过ThreadLocal实现线程隔离。核心功能包括：1）使用put/get方法存储和获取线程上下文数据；2）在日志模板中添加%X{traceId}实现日志追踪；3）通过过滤器自动生成和清除traceId；4）提供多线程环境下traceId传递的解决方案。项目实战中，通过配置日志模板和拦截器，实现全链路日志追踪，并支持多线程环境下的上下文传递。
Odoo 分布式单体与微服务模式深度对比研究报告
Min_Xiansen的博客
01-01 1106
摘要： 本报告对比分析了Odoo ERP系统中分布式单体与微服务两种架构模式。分布式单体通过多节点部署相同代码库实现水平扩展，保持了ORM安全上下文和数据一致性，适合业务逻辑紧密耦合的中大型企业。微服务适用于计算密集型、无状态的独立功能，但面临分布式事务和逻辑重复的挑战。研究显示，在500+并发用户或500GB+数据规模下，分布式单体通过Nginx缓冲、共享存储和专用节点分工等优化手段，能提供优于微服务的性能表现。技术选型需综合考量业务复杂度、团队规模和技术栈统一性等因素。
分布式ID原理与使用详解
zhiyuanIT的专栏
01-02 688
分布式 ID 的目标是全局唯一、高性能、趋势递增。UUID 简单但无序；数据库号段通过区间分配最稳定；Snowflake 性能高但要处理时钟回拨；Redis INCR 简单但存在回退风险。
鸿蒙分布式通信安全实践：中间人攻击原理与防御实现
m0_74456227的博客
12-31 716
鸿蒙设备间通信安全防护实践 摘要：随着鸿蒙分布式能力成熟，多设备互联场景日益普遍，中间人攻击(MITM)成为关键安全隐患。本文基于鸿蒙开发实战，提出四层防护体系：1)通过DeviceManager校验设备身份可信度；2)强制使用HTTPS/TLS加密通信；3)实施证书绑定(Pinning)防御伪造CA攻击；4)关键数据添加签名及时间戳校验。文章结合智能家居控制、跨设备指令下发等典型场景，提供可复用的代码模块，包括可信设备列表获取、证书指纹验证等核心防护方案。强调分布式开发中必须建立设备信任、通信加密、数据校
AMR “分布式多世界”世界模型的工作原理说明
weixin_41939376的博客
01-04 721
本文提出分布式多世界模型（DMWM）作为工业AMR系统的运行框架。该模型将工厂环境拆分为车端、调度、边缘编排和业务系统四个层级的"世界片段"，各自维护不同时标和裁决权的局部世界状态。通过版本对齐、事件流和租约机制实现多世界协同，不追求全局强一致而采用有界不一致策略，并建立跨节点的证据链系统。DMWM将工业现场的复杂性显式化，使多主体AMR系统在局部一致条件下仍能保持安全、协调和可治理的运行状态，解决了传统集中式模型在工业场景中的适用性问题。
从单机限流到分布式动态流控高可用体系落地的互联网系统工程实践随笔与多语言语法思考
最新发布
2501_94180432的博客
01-05 237
分布式动态流控不仅防止雪崩，还提升系统可用性与稳定性。通过全局限流、多维度策略、令牌桶算法、动态阈值、降级和监控闭环，系统从“单机保护”升级为“全局韧性体系”。这篇围绕分布式动态流控落地的工程随笔，为构建高并发互联网系统的工程师提供偏长期、偏系统性的参考，而不仅停留在单机 RPS 或简单限流框架层面。
书《Spark 性能调优与原理分析》
04-01
如果专注于性能调优方面，可以特别关注第8章《Spark调优与调试》，这一章节详细讲解了如何针对实际场景优化 Spark 应用程序的表现。此外，在讨论 Spark 运行机制时，了解其 Executor 架构的设计优势也至关重要，例如...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值