spark概念详解以及四大核心介绍！！！

最新推荐文章于 2025-06-20 12:09:50 发布
最新推荐文章于 2025-06-20 12:09:50 发布
阅读量7.7k 收藏 13
点赞数 5
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： spark spark概念 spark生态 spark特点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36968512/article/details/80734239
Spark是一个大数据分布式计算框架，以其内存计算能力而著称，支持迭代操作和高容错性。它提供了MLlib库，包含多种机器学习算法。在资源管理方面，Spark可以与standalone、Hadoop YARN和Mesos等配合使用。值得注意的是，当处理大量数据并要求查看结果时，直接打印可能会导致内存溢出，建议将计算结果持久化到硬盘上。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark特点：
  • 大数据分布式计算框架，内存计算
  • 分布式计算
  • 内存计算 中间结果在内存 迭代
  • 容错性
  • 多计算范式
四大核心扩展功能：
Spark SQL：Sql on hadoop系统,提供交互式查询、能够利用传统的可视化工具
在Spark上进行类似SQL的查询操作，报表查询等功能
GraphX：图计算引擎，大规模图运算，pagerank

MLlib：聚类分类 分类 推荐 等机器学习算法



*Application(应用程序)

    就是你自己的编写的程序代码，其中包含了驱动（Driver）部分和执行
最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark---------------sparkContext详解
weixin_43740680的博客
08-02 578
 spark简述 sparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序和spark集群进行交互，包括申请集群资源、创建RDD、accumulators及广播变量等。sparkContext与集群资源管理器、work节点交互图如下： 官网对图下面几点说明： （1）不同的Spark应用程序对应该不同的Executor，这些Executor在整个应用程序执行...
Spark----Spark 的核心概念
XiaodunLP的博客
02-14 401
Spark 的核心概念  大多数应该都要有实际写过 Spark 程序和提交任务到 Spark 集群后才有更好的理解    1、Application：表示你的应用程序，包含一个 Driver Program 和若干 Executor    2、Driver Program：Spark 中的 Driver 即运行上述 Application 的 main()函数并且创建 SparkContext，...
Spark ----Spark 核心概述
XiaodunLP的博客
02-11 691
1、Spark 核心功能  Spark Core 提供 Spark 最基础的最核心的功能，主要包括：  SparkContext  通常而言，DriverApplication 的执行与输出都是通过 SparkContext 来完成的，在正式提交 Application 之前，首先需要初始化 SparkContext。SparkContext 隐藏了网络通信、分布式 部署、消息通信、存储...
Spark里几个重要的概念及术语
热门推荐
OopsOutOfMemory盛利的博客
04-16 1万+
1. Application 客户端的应用程序，
大数据技术之Spark
最新发布
2301_82162165的博客
06-20 1068
Spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。Spark最早源于一篇论文 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing， 该论文是由加州大学柏克莱分校的 Matei Zaharia 等人发表的。论文中提出了一种弹性分布式数据集（即 RDD）的概念。
[ Spark ] Spark核心概念
jason_bone_的博客
06-13 633
1.Spark or Hadoop?Hadoop的MapReduce和Spark同为计算框架,使用时如何选择?​ 1)MR由于其设计初衷并不是为了满足循环迭代式数据流处理，因此在多并行运行的数据可复用场景（如：机器学习、图挖掘算法、交互式数据挖掘算法）中存在诸多计算效率等问题。Spark就是在传统的MapReduce 计算框架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的RDD。​ 2)Spark所基于的scala语言恰恰擅长函
Spark---核心概念（Spark,RDD,Spark的核心构成组件）详解
onthe_wing的博客
04-18 2046
Spark就是一个集成离线计算，实时计算，SQL查询，机器学习，图计算为一体的通用的计算框架。何为RDD？其实RDD就是一个不可变的scala的并行集合。Spark的核心概念就是RDD，指的是一个不可变、可分区、里面元素可并行计算的集合，这个数据的全部或者部分可以缓存在内存中，在多次计算间被重用。
Spark的一些基本概念
snail_bing的博客
04-17 608
目录 RDD介绍 RDD入门示例 查看RDD RDD操作 DAG介绍 RDD的依赖关系 窄依赖 宽依赖 Shuffle概述 RDD介绍 Resilient Distributed Datasets（弹性分布式数据集，简称RDD），特点是可以并行操作，并且是容错的。 有两种方法可以创建RDD： 1）执行Transform操作（变换操作）； 2）读取外部存储系统的数据集，...
Spark技术内幕读书笔记：Spark核心——RDD实现详解
Big_data_implicit_
01-28 505
————Spark技术内幕读书笔记———— 深入解析内核架构设计与实现原理 Spark究竟解决了什么问题？ 1.背景： 在spark出现之前，hadoop的迅速发展，hadoop分布式集群，把编程简化为自动提供 位置感知性调度，容错，以及负载均衡的一种模式，用户就可以在普通的PC机上运行超大集群运算，hadoop有一个非常大的问题：hadoop是基于流处理的，hadoop会从(物理存储)hdfs中加载数据，然后处理之后再返回给物理存储hdfs中，这样不断的读取与写入，占用了大量的IO，后来hadoop出现
Spark架构详解：Zaharia博士阐述与Hadoop对比及实战应用
Spark的核心概念是弹性分布式数据集（RDD，Resilient Distributed Datasets），它是Spark中的基本抽象，代表了一次性不可变的、分布式的计算单元。与Hadoop MapReduce的单次计算模式不同，RDD支持基于内存的迭代计算...
Storm、Flink、Spark Streaming性能测试报告（含基准数据）
AI天才研究院
05-14 764
随着实时数据处理需求的爆发（如实时风控、智能监控、实时报表），流处理框架成为企业数据中台的核心组件。Storm、Flink、Spark Streaming作为最主流的三大框架，其性能差异直接影响业务落地效果。本文通过控制变量法设计测试方案，覆盖基础流处理、窗口计算、状态管理、容错恢复四大核心场景，输出可复现的基准数据，帮助技术团队根据业务需求选择最优框架。第2章：三大框架核心技术原理对比；第3-4章：测试方案设计与数学指标定义；第5章：基准测试数据与深度分析；第6章：典型业务场景适配建议；
Spark的核心概念
谦卑t
01-12 421
大多数应该都要有实际写过 Spark 程序和提交任务到 Spark 集群后才有更好的理解  1、Application：表示你的应用程序，包含一个 Driver Program 和若干 Executor  2、Driver Program：Spark 中的 Driver 即运行上述 Application 的 main()函数并且创建 SparkContext，其中创建 SparkContex...
Spark核心概念
马超的博客
10-21 764
Spark核心概念——RDD RDD（抽象数据集的统称Spark是对RDD的其中一种实现）：Resilient Distributed Datasets，弹性分布式数据集 1.分布在集群中的只读对象集合（由多个Partition构成） 2.可以存储在磁盘或内存中（多种存储级别） 3.通过并行“转换”操作构造 4.失效后自动重构RDD基本操作（operator） 1.Transformat
SPARK中的基本概念
wy的点滴
09-05 1019
基本概念以下内容主要参考自《大数据Spark企业实战》一书（作者：王家林） Application：用户编写的Spark程序，包含Driver和Executor代码。 Driver：运行main函数并且创建和关闭SparkContext的程序。 Executor：运行在Worker节点上的一个进程，该进程负责运行某些Task，并且负责将数据存放在内存或磁盘中。在Spark On Yarn模式下，其进
Spark的基本概念
蕾姆的博客
12-29 531
2018年年末，开始spark学习 http://dblab.xmu.edu.cn/blog/1709-2/ 1 spark 涉及的名词解析 Block 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。 InuptSplit 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并...
Spark中的基本概念
Tate的博客
10-15 1734
Spark中的基本概念1、基本概念1.1 RDD：弹性分布式数据集1.2 DAG：有向无环图1.3 Partition：数据分区1.4 NarrowDependency: 窄依赖1.5 ShuffleDependency: 宽依赖2、Spark基本组件2.1 Application2.2 Driver2.3 Executor2.4 Worker2.5 Job2.6 Stage2.7 Task2.8 DAGScheduler2.9 TaskScheduler2.10 总结 1、基本概念 1.1 RDD：弹性分
spark简介和一些核心概念
墨殇
06-22 954
一、spark概念 官网描述： Apache Spark是一个用于大规模数据处理的统一分析引擎。 二、spark特点 1、高速性 Apache Spark使用最先进的DAG调度程序、查询优化器和物理执行引擎，实现了批处理和流数据的高性能；运行速度是hadoop的100倍以上。 2、易用性 Apache Spark程序可以使用java、scala、python、R、SQL语言开发，而且spar...
spark的核心概念
weixin_44142672的博客
05-05 513
名词解释 1.ClusterManager:在standalone模式中是Master(主节点)，控制整个集群，监控Worker。在YARN模式下是资源管理器。 注意：spark是存储在内存中，不需要管理存储，无论是Master，还是resourcemanager资源管理器，主要都是管理资源的(cpu,内存)。 2.Worker：从节点，负责控制计算节点，启动Executor。在YARN模式中为N...
Spark基本概念
feizuiku0116的博客
11-23 406
Application：指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码 Driver：Spark中的Driver即运行行数Application的Main()函数并且创建SparkContext，SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等； Cluster Manager：指的是在集群上获取资源的外部服务，Standalone模式下由Master负责，Yarn模式下Resourc.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值