Spark概述

spark简介(大数据技术) Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地... 阅读详情

Spark介绍

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,用来构建大型的、低延迟的数据分析应用程序。它扩充了MapReduce的计算模型。
spark的一个主要特点是基于内存进行计算,即使依赖磁盘进行复杂的运算,Spark依然比MapReduce更加高效。

Spark容纳了其它分布式系统拥有的功能(批处理、流处理、交互式处理、机器学习等),所有的大数据处理场景都可以在Spark中一栈式解决,降低了维护成本。

Spark组件

在这里插入图片描述

  • Spark Core:
    包含Spark的基本功能,包含任务调度、内存管理、容错机制等。内部定义了RDD(弹性分布式数据集)以及操作RDD的API。
    Spark Core为其它组件提供底层的服务。
  • Spark SQL:
    Spark处理结构化数据的库,类似Hive、MySql。
    一般用来做报表统计。
  • Spark Streaming:
    实时数据流处理组件,类似Strom,Spark Streaming提供了API来操作实时流数据。
    一般用来从Kafka或者其他的消息队列中接收数据做实时统计。
  • Mlib:
    包含通用机器学习功能的包,Machine learning lib。包含分类、聚类、回归等,还包括模型评估和数据导入。
  • Graphx:
    处理图的库(例如,社交网络图),并进行图的并行计算。和Spark Streaming,Spark SQL一样,它也继承了RDD API。
    它提供了各种图的操作,和常用的图算法,例如PageRank算法。
  • Cluster Manager:
    集群管理,Spark自带的集群管理(Standalone)
Spark紧密集成的优点:
  • Spark底层如果优化,基于Spark底层的组件也会得到相应的优化。
  • 节省了各个组件组合使用时的部署、测试等时间
  • 如果Spark增加新的组件时,其它组件可立即共享新组件的功能。

RDD

RDD(Resilient Distributed Datasets) ,弹性分布式数据集, 是分布式内存的一个抽象概念,可以简单的把RDD理解成一个提供了许多操作接口的数据集合,和一般数据集不同的是,虽然叫做数据集,但是RDD中不存储数据,其实际数据分布存储于一批机器中(内存或磁盘中)。RDD的功能还包括容错、集合内的数据可以并行处理等。

RDD五大特性

  • a list of partiotioner
    RDD是由一系列的partition组成的(遵循数据的本地性,一般会把HDFS中的一个block加载为一个partition)

  • a function for partiotioner
    RDD提供的每一个函数实际上是作用在每一个partition上的(每一个partition所在节点都会启动一个进程来运行同一个函数,进行并发计算)

  • a list of dependencies on others RDDS
    RDD是有一系列的依赖关系的,依赖于其他的RDD(作用:计算的容错性,如果数据丢失可以去上一个RDD重新计算得来)

  • optionally ,a partitioner for key-value RDDS
    可选项 分区器是作用在KV格式的RDD上的(如果RDD里面存的数据是key-value形式,则可以传递一个自定义的Partitioner进行重新分区,例如这里自定义的Partitioner是基于key进行分区,那则会将不同partition里面的相同key的数据放到同一个partition里面,相当于MR,控制key分到哪个reduce)

  • Optionally, a list of preferred locations to compute each split on
    可选项 RDD会提供一系列最佳的计算位置(RDD提供了一个方法接口,直接调用这个方法接口,就能拿到这个RDD所有的partition位置)

RDD的三种算子

  • Transformation类算子 : 延迟执行
    Transformation操作会由一个RDD生成一个新的 RDD。Transformation操作是延迟计算的,也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行,需要等到Actions操作时,才真正开始运算。
  • Action类算子: 一个action类算子就会触发一个job
    Action操作会对 RDD 计算出一个结果,并把结果返回到驱动器程序中,或把结果存储到外部存储系统(如 HDFS)中。
  • 控制类算子:延迟执行

Transformation类算子

map			接收一个函数,对于RDD中的每一个元素执行此函数操作,结果作为返回值。
flatMap		和map差不多,只是对于每个输入项返回结果有多个,类似一对多映射。
filter		通过定义的规则对RDD中的每一个元素进行过滤
join		相当于inner(内连接)
leftOuterJoin 	左连接
rightOuterJoin 	右连接
sortByKey 	根据key进行排序,可以指定分区数和升降序
sortBy 		可以指定根据哪个字段来排序,基于sortByKey实现的
groupByKey 	根据key进行分组
reduceByKey 根据key进行聚合
...

Action类算子

reduce
count
collect
foreach
saveAsTextFile
...

控制类算子

cache 
可以把数据持久化到内存中
注意:
① 控制类算子后不能立即紧跟action类算子
② 缓存单元是Partition
③懒执行,需要action类算子触发执行

persist	
可以指定持久化的级别:
MEMORY_ONLY
DISK_ONLY
MEMORY_AND_DISK
...

Spark在集群中的大致运行流程

Spark提交任务有两种方式,分别是Client和Cluster
Client:
提交命令:这里以SparkPi为例

spark-submit --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

在这里插入图片描述

  1. Client向Master提交一个Application,在本地会启动一个Driver进程
  2. Driver向Master为当前Application申请资源
  3. Master接收到请求之后,会在资源充足的节点上启动Executor进程
  4. Driver分发task到Executor执行

Cluster:
提交命令:这里以SparkPi为例

spark-submit --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

在这里插入图片描述

  1. Client向Master提交一个Application,会在本地启动一个spark-submit进程。
  2. spark-submit为Driver向Master申请资源。Driver进程默认需要1G内存,1core。
  3. Master会随机找一台Worker节点启动Driver进程。
  4. Driver进程启动成功后,spark-submit进程关闭,然后Driver会向Master为当前Application申请资源。
  5. Master接收到请求后,会在资源充足的节点上启动Executor进程。
  6. Driver分发task到Executor执行。
spark概述 第二章 spark概述 内容提要 大数据背景 spark介绍       一、大数据行业背景   1、大数据时代背景 随着计算机存储能力的提升和复杂算法的发展,近年来的数据量成指数型增长,这些趋势使科学技术发展也日新月异,商业模式发生了颠覆式变化。《分析的时代:在大数据的世界竞争》是2016年12月麦肯锡全球研究院(MGI)发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务... 阅读详情

相关推荐

Spark及生态圈概述

1.Spark概述及特点 先看下官网的描述: Spark:快如闪电般的统一分析引擎。 Apache Spark 是一个专门为大数据集处理的统一分析引擎。有以下特点: Speed Run workloads 100x faster. Apache Spark achieves high performance for both batch and streaming d...

Dangerous的博客 3721

Spark简介

Spark简介Spark是什么新的改变Spark集群架构合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Spark是什么 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如

qinlingheshang的博客 2万+

Cisco思科 电子科技大学计算机网络 SRWE 期末技能考试 (PTSA)

电子科技大学2024春_SRWE_计算机网络系统 SRWE 期末技能考试 (PTSA)

2301_76745065的博客 5098

大数据学习 之 Spark 概述

Spark简介 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎。 Spark主要由五部分组成: Spark Core Spark Core 中提供了 Spark 最基础与最核心的功能,Spark 其他的功能如:Spark SQL, Spark Streaming,GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的 Spark SQL Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL,用户可以使用 SQL 或者

阳光大男孩!!!的博客 8487

从图像处理到AI:手把手教你用Halcon DL Tool完成第一个缺陷检测项目

本文详细介绍了如何使用Halcon深度学习工具(DL Tool)完成金属表面缺陷检测项目。从环境准备、数据采集标注到模型训练与部署,手把手指导工程师快速构建AI质检系统,显著提升工业缺陷检测效率。特别针对金属反光等难点问题提供实用解决方案。

weixin_42531886的博客 292

保姆级教程:用Python+OpenCV搞定Orbbec Gemini深度与彩色流对齐(附完整代码)

本文提供了一份详细的Orbbec Gemini深度与彩色流对齐教程,涵盖从环境配置到完整代码实现的每一步。通过解析深度流对齐原理,对比不同对齐模式,并提供工业级应用中的问题排查方法,帮助开发者快速掌握Orbbec Gemini相机的使用技巧。文章还包含进阶应用如点云生成与三维重建的实战代码。

weixin_29090917的博客 470

Spark 概述

一、 Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 二、Spark and Hadoop 在之前的学习中,Hadoop的MapReduce是大家广为熟知的计算框架,那为什么咱们还要学习新的计算框架Spark呢,这里就不得不提到Spark和Hadoop的关系。 首先从时间节点上来看: Hadoop 2006年1月,Doug Cutting加入Yahoo,领导Hadoop的开发 2008年1月,Hadoop成为Apache顶级项目 2011年1.0正式发布 2012年

mengxianglong123的博客 2574

RAGFlow 离线部署:解决cl100k_base.tiktoken问题

摘要 本文详细解决了RAGFlow离线部署时tiktoken缓存文件下载失败的问题。通过分析tiktoken库的缓存机制,一次性不改代码解决.

baidu_25691461的博客 834

提交Spark应用程序

提交Spark作业后,观察Spark集群管理界面,其中“Running Applications”列表表示当前Spark集群正在计算的作业,执行几秒后,刷新界面,在Completed Applications表单下,可以看到当前应用执行完毕,返回控制台查看输出信息,出现了“Pi is roughly 3.1424157120785603”,说明Pi值已经被计算完毕。除了–master参数外,spark-submit还提供了一些控制资源使用和运行时环境的参数。进入Spark安装目录。

梁辰兴的博客 1983

《拉依达的嵌入式\驱动面试宝典》—C/CPP基础篇(二)

《拉依达的嵌入式\驱动面试宝典》 整合了所有我认为可能遇到的技术面试问题。所有问题及其答案均是我个人学习后查阅资料总结,每个回答都做了仔细的分析,在嵌入式及其驱动面试相关问题解析做到全网独一无二。学习或者转行到嵌入式、驱动开发领域学习的不二之选

拉依达不拉跨的博客 580

26、多级快速多极子算法(MLFMA)在大规模电磁问题中的应用

本文探讨了多级快速多极子算法(MLFMA)在大规模电磁问题中的高效应用。通过分层分区策略,MLFMA在分布式内存架构上实现了高效并行化,能够求解包含数亿未知数的复杂电磁问题。文章分析了介质球体、半球透镜、周期性结构和损耗介质阵列等典型案例,验证了MLFMA的高精度与广泛适用性。同时,MLFMA被应用于实际场景如隐身目标Flamme的外部共振分析和含分裂环谐振器的超材料设计,展示了其在航空航天、超材料和生物医学等领域的广阔前景。未来发展方向包括算法优化、多物理场耦合和实时计算,进一步拓展其应用潜力。

t8u9v0w1x的博客 121

Spark(Python版)——Spark概述

Spark 概述 运行速度快 容易使用 Spark本质上计算模式也是MapReduce,但是操作不局限于Map和Reduce两个操作,提供了更多的操作类型。而且Spark会存储在内存中,磁盘IO开销很小。 Spark 生态系统 大数据处理主要包括: 复杂的批量数据处理 基于历史数据的交互式查询 基于实时数据流的数据处理 过去我们需要同时部署三种不同的软件,如MapReduce、Impala、Storm 会存在如下问题: 不同场景之间输入输出数据无法做到无缝共享,通常需要进行数据格式的转换。 不同的软件

karry_zzj的博客 5729

基于龙虾Claw的会议纪要自动提取与重点内容总结办公场景实践

本文介绍如何使用龙虾Claw构建会议纪要自动提取与重点内容总结系统,实现会议内容的智能处理。

一键难忘的博客 256

Spark框架概述

定义:Apache Spark是用于处理的。弹性分布式数据集RDD是一种分布式内存抽象,其使得程序员能够在大规模集群中做内存运算,并且有一定的容错方式。而这也是整个Spark的核心数据结构,Spark整个平台都围绕着RDD进行。简而言之,Spark借鉴了MapReduce 思想发展而来,保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。统一分析引擎?Spark是一款分布式内存计算的统一分析引擎。

藤藤菜的专栏 5125

1. SAP Business Application Studio 里创建一个基于 CAP 模型的最简单的 OData 服务

本文基于 SAP Cloud Application Programming 编程模型的 OData 服务开发教程的第一步,简述了 SAP Business Technology Platform 里 Business Application Studio 开发工具的打开方式,创建 Dev Space 以及 CAP 项目的创建步骤,以及如何通过 schema.cds 和 service.cds 分别创建 OData 模型和 OData 服务,最后通过 ports preview 打开 OData 服务预览页

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1803

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

2-spark学习笔记-spark发展概述

BUPT-WT的博客 159

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Spark 内核概述

1.Spark核心组件回顾 1.1 Driver Spark驱动器节点,用于执行Spark任务中的main方法,负责实际代码的执行工作。Driver在Spark作业执行时主要负责: 将用户程序转化为作业(job); 在Executor之间调度任务(task); 跟踪Executor的执行情况; 通过UI展示查询运行情况; 1.2 Executor Spark Executor节...

Faded1573606285的博客 223

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

spark概述2

xianrenqiu1234的博客 193

【Spark】Spark七: Spark概述

在前面几篇博客里,介绍了Spark的伪分布式安装,以及使用Spark Shell进行交互式操作,本篇博客主要是对Spark整体上进行梳理。   Spark的几个特点 Spark是基于内存的计算,比基于磁盘的Hadoop Map Reduce快了百倍的数量级 Spark MapReduce操作更丰富更灵活 Spark通过一个技术栈,提供完整的针对大数据计算的生态系统 Spark速...

bit1129的博客 821

1.spark概述

一.大数据框架 基于内存的快速,通用,可扩展的大数据分析计算引擎 1.基础框架 2.主从结构 资源共享 计算 存储 MapReduce(基于磁盘的计算) spark(基于内存) 二.spark概述 1.发展历史 2009——针对 交互式查询 和 迭代算法设计 2017——针对 深度学习 和 流性能 的改进 2.特点 快速 类型 Vspark/VMapReduce 内存 >=100 磁盘 >=10 内存计算:中间数据存放在内存,减少I/O操作 线程替代

tyh751734196的博客 211

SPARK概述

spark是一种基于内存的、快速、通用、可拓展的大数据分析计算引擎hadoop的基础计算框架是MapReduce,但是MapReduce并不能满足流式循环迭代的场景。Spark的核心技术是RDD(Resilient Distributed Datasets 弹性分布式数据集)可以快速在内存中进行迭代。Spark的启动比MapReduce要快,Spark采用fork线程的方式,而MapReduce采用的是新建进程的方式。

m0_51192710的博客 594

Spark 概述 安装

1 Spark 概述 1.1 什么是 Spark 1.2 Spark 内置模块   Spark Core:实现了 Spark 的基本功能,包含任务调度、内存管理、错误恢复、与存储 系统交互等模块。Spark Core 中还包含了对弹性分布式数据集(Resilient Distributed DataSet,简称 RDD)的 API 定义。   Spa...

weixin_30496751的博客 90

Spark 内核概述 部署模式

1.Spark 内核概述   Spark 内核泛指 Spark 的核心运行机制,包括 Spark 核心组件的运行机制、Spark 任务调度机制、Spark 内存管理机制、Spark 核心功能的运行原理等,熟练掌握 Spark 内核原理,能够帮助我们更好地完成 Spark 代码设计,并能够帮助我们准确锁定项 目运行过程中出现的问题的症结所在。 1.1 Spark 核心组件回顾 ...

weixin_30349597的博客 96

Spark概述和安装运行

Spark概述和安装运行 1、什么是Spark Spark是一种基于内存的快速、通用、扩展的大数据分析计算引擎 Spark只负责计算,没有存储功能。 ================================= hadoop在2013年10月发布2.x版本增加yarn Spark在2013年6月成为Apache项目 ==>>Hadoop的Yarn框架比Spark框架诞生的晚,所以Spark自己也设计了一套资源调度框架。 =========================== 和Hadoop

qq_47932841的博客 260
上一篇: Hive基础理论及表的类型
下一篇: Spark集群的搭建
PowerBlogger
博客等级 码龄8年 10粉丝 17原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值