Spark背景知识学习

Spark 的产生背景 1、Spark 的产生背景    1.1、MapReduce 的发展  1.1.1、MRv1 的缺陷  早在 Hadoop1.x 版本,当时采用的是 MRv1 版本的 MapReduce 编程模型。MRv1 版本的实现 都封装在 org.apache.hadoop.mapred 包中,MRv1 的 Map 和 Reduce 是通过接口实现的。MRv1 包括三个部分: 运行时环境(JobT... 阅读详情

本文主要总结Spark及其生态圈,包括spark概述,产生背景,特点,以及与Hadoop的差异等,希望读者能从概念层面对spark有一个直观的认识。

Spark概述及特点

Apache Spark™ is a unified analytics engine for large-scale data processing.

这是来自Spark官网的描述(http://spark.apache.org/)。我们可以看到Spark是对大规模数据处理的一个统一分析引擎。有一种说法是:Spark给Hadoop这头大象插上了翅膀,足以看出Spark处理速度之快。Spark官网中,概括了Spark的几个特点:

1. Speed:执行速度很快,无论是在批处理还是流处理中都很快。官网指出逻辑回归使用hadoop(指的是MapReduce作业)执行需要110秒,使用spark执行只需要0.9秒。执行快的原因有:①spark使用了一种DAG执行引擎,能提供基于内存的计算,相比Hadoop对磁盘读写要快很多。②MapReduce中的Map作业和Reduce都是基于进程的,而进程的启动和销毁都有一定的开销。spark中作业是基于线程池的,任务启动的开销要比Hadoop快。

2. Ease of Use:易用性。主要体现在①Spark支持Java,Scala,Python,R,SQL等多种语言,便于我们选择自己熟悉的语言进行应用开发。②Spark提供了80多种高级别的算子,比起MapReduce中仅有的map和reduce操作更广泛,例如join,groupby等,也方便了我们进行应用开发。③Spark还支持交互式的命令行操作。而MapReduce需要写完之后打包再运行,代码量大,步骤繁琐。

3. Generality:通用性。Spark之上有不同的子框架用于处理不同的业务场景,如下图所示。这样降低了环境搭建成本,运维成本和学习成本。可以说是一栈式解决多种场景问题。

4. Runs Everywhere:Spark可以有Hadoop(yarn),Mesos,standalone,Kubernetes等多种运行模式。它还可以访问多种数据源,例如HDFS,Cassandra,HBase,Hive等,这样就为在现有的复杂多样的生产环境中使用spark提供了无限可能。

spark的产生背景

1.MapReduce的局限性:

① 代码繁琐。拿wordcount举例,使用MapReduce实现,需要我们自己开发map函数和reduce函数,并进行打包部署运行,代码量大,步骤繁琐,一单出错就需要重新提交。

② MapReduce只能够支持map和reduce方法,对于像Join,group by等的操作的开发比较繁琐。

③执行效率不够高,原因主要有:

  • map阶段的结果写入磁盘,reduce阶段再从磁盘上读取相应的数据进行有关计算,中间有磁盘参与的过程。

  • 每一个作业是以进程(一个JVM)的方式,运行启动和销毁的成本很高。

  • 数据交互通过磁盘进行,不能充分发挥集群的作用。

  • 不适合迭代多次(如机器学习和图计算的场景),交互式学习(如使用命令行操作的场景),流式的处理(MapReduce处理的数据是静态不能变化的,不能处理流式处理)的场景。

2.框架多样化

在spark之前,有很多框架用于处理不同的任务。主要可以分为以下几种:

① 批处理(或者称之为离线处理)框架,如MapReduce、Hive、Pig。

② 流式处理(或者称为实时处理)框架,如Storm,JStorm。

③ 交互式计算计算,如Impala

如果要进行不同场景的业务处理,则就需要借助不同的框架。如果以上三种都涉及,就要搭建多个集群,这样的成本是很高的:包括对于框架的学习成本以及对实际环境的运维成本。

而spark能够完成以上所有框架可以做的事情。较好的解决了框架多样性的问题。能够完成批处理,流式处理,交互式处理等。spark包含的组件有:Spark SQL处理SQL的场景(离线处理),MLlib用于进行机器学习,Graphx用作图计算,Spark Streaming 用来进行流式处理。

spark生态对比Hadoop生态

关于Hadoop 生态系统的各个组件我们在前面文章中提到过,可以参考Hadoop基础知识总结中关于Hadoop生态系统的描述。

我们来看一下spark生态系统的架构,可以简写为BDAS,其全称是Berkeley Data Analytics Stack,即伯克利数据分析栈,如下图所示,图片来源:

https://yq.aliyun.com/articles/371357

从下往上看,各个组件的作用如下:

Mesos:分布式资源管理和调度框架,和Yarn类似。

HDFS:分布式文件存储系统。它是外部的相关系统,严格意义上不属于BDAS。

tachyan:后来改名为alpha,是一个分布式内存文件系统,使得我们的数据可以存储在内存中。

spark:即:spark core。基于内存优化的执行引擎,支持多种语言如Java,Python,Scala的编程API。

spark之上有不同的子模块用来满足不同的应用场景:Spark Streaming 用来做流处理。GraphX用于做图计算,MLlib用来做机器学习,Spark SQL(前身是Shark)用于支持SQL的查询。

storm和spark是没有关系的(外部系统),它是用来做流处理的框架,但是spark内部已经有了spark streaming可以用于做流处理,安装成本和学习成本相对都小很多。

BlinkDB:用于在海量数据之上运行交互式SQL查询的大规模并行查询引擎,通过牺牲数据的精度提高查询的响应时间。

spark与Hadoop的对比

对比1:hadoop生态系统与Spark BDAS 的对比,如下表所示。

批处理的场景:Hadoop生态系统中我们只能使用MapReduce,Spark中我们可以使用RDD以及相应的编程语言。

SQL查询的场景:Hadoop中可以使用Hive,Spark中我们可以使用Spark SQL,二者在使用上具有相当大的相似性。

流处理的场景:Hadoop生态系统通常使用kafka+storm,spark中使用的是 spark streaming,它也可以整合kafka使用。

机器学习的场景:Hadoop生态中使用mahout,但是目前不对MapReduce更新了,spark中则是单独的MLlib模块。

实时数据查询:Hadoop生态系统中使用Hbase等NoSQL数据库,而spark中虽然没有专门的组件,但是也能够使用spark core的API处理NoSQL查询的场景。spark是一个快速的分布式计算框架,所以没有提供存储的组件,但可以访问多种数据源。

对比2:Hadoop和Spark内部构成的对比

对比3:MapReduce 与Spark 的对比

如上图所示:

MapReduce执行时,从HDFS读取数据,结果写入到HDFS,下一个作业再从HDFS读数据,处理完之后再写回去。多个作业之间的数据共享借助于HDFS完成。

Spark则是把磁盘换成了内存,第一个作业将结果写入内存而不是磁盘,后面的作业也直接从内存中读取数据,这样可以减少序列化,磁盘,网络的开销。

Spark和Hadoop的协作性:

Hadoop 的优势:

  • 数据规模方面:Hadoop在存储空间和计算能力方面,都可以进行扩展,支持多数据源,多应用,多用户。

  • 企业级平台:高可用(reliability),多租户(Multi-tenancy),安全性(Security)

  • 多种应用场景:文件,数据库,半结构化数据

Spark的优势:

  • 易于部署:API简单,支持多种语言

  • 基于内存的计算框架:使用RDD的方式处理数据,使用DAG的处理模式

  • 综合多个工作流和子框架:例如spark SQL,ML,streaming,Graphx等组合使用

因此实际工作中常常将二者综合起来,这样使应用程序可以在内存中计算,提高计算效率。通常二者协作的框架大致如下图所示:

大致的逻辑是:

数据存储在HDFS之上,由Yarn进行统一的资源管理和作业调度。

在yarn之上,可以运行各种作业,如批处理的MR,流处理的Storm,S4,内存计算的spark任务。

我们看到,Hadoop和Spark在生产生是相辅相成的,各自的模块负责各自的功能。

至此我们完成了对Spark的基本知识的学习,如产生背景,架构组成,主要子框架,并进行了与Hadoop的对比,主要在一些概念上和逻辑上形成一个直观的认识,为今后的学习奠定一些基础。欢迎大家留言交流~

(完)


大数据Hadoop学习系列之Hadoop、Spark学习路线 1 Java基础: 视频方面:推荐毕老师《毕向东JAVA基础视频教程》。 学习hadoop不需要过度的深入,java学习到javase,在多线程和并行化多多理解实践即可。 书籍方面:推荐李兴华的《java开发实战经典》 2 Linux基础: 视频方面:(1)马哥的高薪Linux视频课程-Linux入门、 (2)兄弟连的新版Linux视频教程、 (3)老段的讲解鸟哥Linux基础+私房... 阅读详情

相关推荐

2020年整理的大数据基础入门教程总结和学习路线

所谓大数据(Big Data),就是需要处理的数据量非常巨大,已经达到了 TB、PB 甚至 EB、ZB 级别,需要成千上万块硬盘才能存储。传统的技术手段在大数据面前不堪一击,只能探索一套新的解决方案。 这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍,包括大数据思维、大数据采集、大数据处理、大数据存储、大数据挖掘、大数据应用等各个环节,帮助初学者规划了一条完整的学习...

大数据基础框架学习教程汇集 944

数据分析之Spark框架介绍

RDD是Spark中最基本的数据处理模型,它是一个不可变的、分布式的对象集合。Spark是一种快速、通用、可扩展的大数据分析引擎,它基于内存计算的大数据并行计算框架,能够显著提高大数据环境下数据处理的实时性,同时保证高容错性和高可伸缩性。Spark MLlib:提供常见的机器学习(ML)功能的程序库,包括分类、回归、聚类、协同过滤等,还提供了模型评估、数据导入等额外的支持功能。批处理:Spark可以处理大规模的数据集,并提供了丰富的数据处理和转换功能,适用于各种批处理任务,如数据清洗、ETL、数据分析等。

m0_75111141的博客 379

大数据技术与产业界的融合

作者:禅与计算机程序设计艺术 1.简介 大数据技术一直在快速发展中,随着云计算、大数据分析平台、移动互联网爆炸性增长,越来越多的应用场景将会面临着大数据的需求。如何整合大数据技术、打造大数据产业链,成为大数据领域的领头羊,成为行业里最具影响力的人才,成为了很多技术人所关注的热点问题。那么作为技术专家,我

AI天才研究院 3060

Spark简介

一、spark介绍 Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的,后贡献给Apache。是一种快速、通用、可扩展的大数据分析引擎。它是不断壮大的大数据分析解决方案家族中备受关注的明星成员,为分布式数据集的处理提供了一个有效框架,并以高效的方式处理分布式数据集。Spark集批处理、实时流处理、交互式查询、机器学习与图计算于一体,避免了多种运算场景下...

qq_36620412的博客 659

PLSQL Developer新手必看:如何避免安装过程中的常见坑

本文为PL/SQL Developer新手提供了详尽的安装与配置避坑指南。从版本选择、注册码使用、汉化包安装到Oracle客户端连接配置,逐一解析常见问题并提供解决方案,帮助开发者快速搭建稳定的PL/SQL开发环境,顺利开启Oracle数据库编程工作。

g9h0i1的博客 654

Aitoearn内容营销的最佳开源 AI 代理,创建 · 发布 · 互动 · 副业一站式平台,支持渠道:抖音、小红书(红点)、微信通道、快手、哔哩哔哩、微信公众号、抖音等等

Aitoearn内容营销的最佳开源 AI 代理,创建 · 发布 · 互动 · 副业一站式平台,支持渠道:抖音、小红书(红点)、微信通道、快手、哔哩哔哩、微信公众号、抖音等等

struggle2025的博客 1754

【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)

【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)

showswoller的博客 8804

802.1AS-2011_Gptp协议栈

GPTP(广义时钟同步协议,或IEEE 802.1AS)的基本功能是确保局域网中所有的时钟都同步,并提供时间信息。这种协议用于在局域网中进行同步和时间对齐,其目的是确保网络中各设备的时间一致性。

weixin_49041703的博客 2544

hadoop+spark生态系统操作与指南非影印版_Spark背景知识学习

本文主要总结Spark及其生态圈,包括spark概述,产生背景,特点,以及与Hadoop的差异等,希望读者能从概念层面对spark有一个直观的认识。Spark概述及特点Apache Spark™ is a unified analytics engine for large-scale data processing.这是来自Spark官网的描述(http://spark.apache....

weixin_39957647的博客 171

思岚A1 上手教程

前言 寒假在家闲着也是闲着,索性就向是实验室借了一个思岚 A1激光雷达,来进一步完成自己的实验室实习项目。经过一个月在Linux上和ROS上的摸爬滚打,我已经对机器人开发和SLAM有了初步了解,现在就写个上手教程吧(以防自己以后忘了)。 Basic Support 硬件 一台电脑 思岚 A1激光雷达 软件 安装Virtual Box虚拟机 在虚拟机安装Ubuntu 16操作系统 在Ubuntu 16搭建ROS kinetic 简要步骤 1.现在w..

ajxdhe的博客 6391

特征提取神操作,登上Nature!计算速度狂提300%!

登上Nature!作者提出CVOCA,一种能同时处理数据的幅度和相位信息的卷积模型,在性能远超SOTA的同时,计算速度更是狂飙300%!实际上,作为机器学习和深度学习的核心技术,特征提取一直都是研究的热门!它直接影响着模型的准确性、计算效率、可解释性……同时,它也是我们改模型涨点,最好操作的部分!因为可切入点的真的非常之丰富,不管是轻量化、多尺度、时域与频域结合等,都能使模型性能得到提升!

2401_82426425的博客 4039

精通 Spark 2.x 机器学习(一)

大数据-这是我们几年前探索 Spark 机器学习世界的动力。我们希望构建能够利用大量数据训练模型的机器学习应用程序,但一开始并不容易。Spark 仍在不断发展,它并不包含强大的机器学习库,我们仍在努力弄清楚构建机器学习应用程序意味着什么。但是,逐步地,我们开始探索 Spark 生态系统的不同方面,并跟随 Spark 的发展。对我们来说,关键部分是一个强大的机器学习库,它将提供 R 或 Python 库所提供的功能。对我们来说,这是一项容易的任务,因为我们积极参与了 H2O 的机器学习库及其名为 Sparkl

龙哥盟 1154

51单片机独立按键控制LED(二)

对于机械开关,当机械触点断开、闭合时,由于机械触点的弹性作用,一个开关在闭合时不会马上稳定地接通,在断开时也不会一下子断开,所以在开关闭合及断开的瞬间会伴随一连串的抖动。独立按键控制LED显示二进制。独立按键控制LED灯亮灭。独立按键控制LED状态。独立按键控制LED移位。

m0_50562428的博客 5387

程序员:大数据培训分享Spark基础都有哪些

作为大数据主流框架之一的Spark,也是大数据开发人员必须要掌握的重要技术框架,在企业招聘当中,掌握Spark框架的大数据人才,也更加具备竞争优势。那么Spark需要什么基础?今天就来给大家讲讲Spark需要什么基础? 首先,学习大数据,不管是Hadoop还是Spark,基本功都少不了Linux和Java。搭建集群环境,Linux基础是必须的,系统操作命令是基础中的基础。而Java,主要以JavaSE的知识为重点,包括面向对象、集合、io、多线程以及JDBC操作等,这部分是大数据开发当中常常需要用到的。 其

weixin_52755935的博客 396

华为OD机试真题 新系统2026-04-15 C++ 实现【失灵的键盘】

有一个键盘有2个按键失灵了,按下这些键时会连续输出其他键对应的字符两次。具体如下: 1. 按下j键一次,屏幕上显示uu(两个连续的u);  按下b键一次,屏幕上显示t(两个连续的t) 2. u键和t键是好的,按下u键一次时,屏幕只会显示一次u(正常按键);按下t键一次时,屏幕只会显示一次t(正常按键) 3. 假定屏幕上连续显示两个t一定是按了一次b键,而不是两次t键;假定按键t之后不会紧接着按键b,即tttt转义为两个b,而不可能是tb

MISAYAONE的博客 212

在 SAP BTP ABAP Environment 里把 ATC 跑成流水线:定时检查 + 告警邮件,一次打通

摘要 本文介绍了如何在SAP BTP ABAP环境中实现ATC检查的自动化流程。通过将ATC与质量体系结合,构建从检查到通知的完整闭环:使用Custom Code Analysis Project定义检查范围,通过Application Jobs实现定时调度,利用标准CDS View读取结果,最后开发通知作业发送告警邮件。文章重点阐述了云环境下不同于On-Premise的实现思路,包括Test Variant设计、作业编排模板应用等关键环节,并提供了可落地的代码示例。这种自动化方案能有效解决人工检查的滞后性

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 170

Spark 学习笔记【2018存档】

这里写自定义目录标题前言前置条件编程语言算法知识SQL进阶教程一些站点 前言 Spark 作为目前最火的技术栈或许 大概 应该 maybe 没有之一了吧,看上去很厉害,实际上也很厉害。。。 去年,有个东西还准备自己造轮子解决,后来耽搁了,上周一搜,已经有大神造好了轮子 本篇,作为自己学习Spark 的一个记录,不涉及Spark 的具体介绍,主要是一些学习思路和学习资料的整理,资源都来自网络及社区,侵删。 前置条件 编程语言 学习使用Spark,需要有一定的基础知识,在编程语言的方面,目前支持了Scala、J

喵十八的修行记录 214

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Spark MLlib

1. 机器学习 机器学习可以看做是一门人工智能的科学,该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验,以此优化计算机程序的性能标准。 机器学习强调三个关键词:算法、经验、性能,其处理过程如上图所示。在数据的基础上,通过算法构建出模型并对模型进行评...

weixin_34245169的博客 154

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

关于SPARK的 与周边比较

Spark学习笔记(一)之基础篇 2019-11-11 Spark学习笔记 333 Spark简介 Spark是美国加州大学伯克利分校的AMP实验室(主要创始人lester和Matei)开发的通用的大数据处理框架. Spark有4中运行模式: local模式,适用于测试 standalone,并非是单节点,而是使用spark自带的资源调度框架 yarn,最流行的方式,使用yarn集群调度资源 mesos,国外使用的多 Spark比MapReduce快的原因 Spark基于内存迭...

luoyanqing119的专栏 333

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

5小时推开spark的大门,打卡有奖

spark

公号:一条coding 2179

大数据学习04 Scala的学习

大数据学习04 Scala的学习 在Spark学习之前,先进行对Scala的学习 提示:已经有Scala基础的同学可以先跳过这部分 文章目录大数据学习04 Scala的学习Scala是什么一、Scala入门1.为什么学习Scala2.Scala的发展历史二、Scala与Java的关系1.Scala是对java的增强2.Scala语言特点2.Scala环境搭建总结 Scala是什么 Scala===Java++ 1.Scala基于JVM,和JAVA完全兼容,同样具有跨平台、可移植性好,方便的垃圾回收

yumiao的博客 1713

从传统数仓到互联网大数据开发,不走弯路很重要

1.自我介绍 二本学校毕业5年,在某已倒闭手机厂商做安卓开发3年,到银行外包写SQL1年,现在在某大厂做大数据开发工作即将一年,月处理数据量PB级别。 2.为什么要转型 转型有两个原因,一个是技术相关的,刚毕业心态没调整好,没有把心思放在技术上,然后做的工作技术要求也不高,就这么混了几年;一个是工资相关的,工资真尼玛低,都快混不下去了。 3.转型的心态和行动 16年公司内部培训的时候了解到大数据,那时候还没放心思去学。因为以上说的原因开始专心搞大数据,每天...

BigData98的博客 2768

探索机器学习工程的艺术 —— 深入《ML-Engineering》开源项目

探索机器学习工程的艺术 —— 深入《ML-Engineering》开源项目 在这个数据驱动的时代,机器学习已成为解决复杂问题的利器。而《ML-Engineering》开源项目正是为那些渴望深入理解并实践机器学习工程的开发者们准备的一份宝藏。该项目与Manning Publications出版的同名书籍相辅相成,由作者Ben Wilson精心打造,是每一位机器学习工程师和数据科学家不容错过的学习资源...

gitblog_00093的博客 371

大数据毕业设计Python+Spark知识图谱视频推荐系统 视频情感分析 视频预测系统 视频推荐系统 视频可视化 视频爬虫 视频数据分析 计算机毕业设计 Python毕业设计 人工智能 知识图谱

大数据毕业设计Python+Spark知识图谱短视频推荐系统 视频情感分析 视频预测系统 视频推荐系统 视频可视化 视频爬虫 视频数据分析 计算机毕业设计 Python毕业设计 人工智能 知识图谱

全网计算机/大数据辅导(自媒体)道祖第一人、全网粉丝100W+,专注于大学生项目实战开发,讲解,毕业答疑辅导,高校老师/讲师/同行合作。以及产品测评宣传、工具推广等合作。同时招收学生代理、校园代理。 1063

决胜Hadoop&Spark大数据时代:Hadoop&Yarn&Spark企业级最佳实践

王家林:Spark、Docker、Android技术中国区布道师。 联系邮箱18610086859@126.com  电话:18610086859  QQ:1740415547  微信号:18610086859     Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术,也是大数据处理的核心技术,是每个云计算大数据工程师必修课。   大数据时代的精髓技术在于

Rocky_wangjialin的专栏 1609
上一篇: 9102年入门GAN的补习
下一篇: 从事Python三年,一直认为Python就写写爬虫最方便,直到我学习了这些公众号,发现还有更多作用!...
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值