【Spark三十九】Spark比Hadoop速度快的原因总结

最新推荐文章于 2021-09-14 10:34:19 发布
原创 最新推荐文章于 2021-09-14 10:34:19 发布 · 1.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文深入探讨了Spark相对于Hadoop在计算速度上的显著优势，详细解释了其核心机制，如内存缓存、广播机制、检查点等，并通过对比Hadoop的磁盘依赖计算流程，阐述了Spark在迭代计算场景下的高效性。同时，文章还揭示了Spark任务调度模型的特性以及在容错性和shuffle性能提升方面的表现。

Spark的速度比Hadoop快将近100倍，原因都有哪些，本文进行归纳总结

 

  • Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，见http://www.cnblogs.com/hseagle/p/3673138.html
  • Broadcast机制
  • Cache
  • Checkpoint
  • Spark的计算模型

 

 

Hadoop每次计算先写磁盘，下次计算先从磁盘读，计算结果再写磁盘，如此往复。这对于迭代计算，是个噩梦
  • -----Spark为每个应用程序在worker上开启一个进程，而一个Job中的Task会在同一个线程池中运行，而Hadoop Map Reduce的计算模型是每个Task(Mapper或者Reducer）都是一个单独的进程，启动停止进程非常expensive，同时，进程间的数据共享也不能基于内存，只能是HDFS。
  • Spark任务调度模型
    • -----一级调度DAGScheduler
    • -----二级调度TaskScheduler

 

  • 容错性
  • Shuffle方面的性能提升？
【Spark系列】：Spark为什么比Hadoop快
hxcaifly的博客
01-01 5243
1.前言 大数据工程师都喜欢拿Spark和Hadoop进行对比。一般的理解就是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 果真如此吗？事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的数据通信问题：Spark多个任务之间数据通信是基于内存，而Hadoop是基于磁盘。 Spark SQL...
spark-3.3.3-bin-hadoop3.tgz
10-19
总结来说，Spark 3.3.3与Hadoop 3.x的结合提供了强大的大数据处理平台，涵盖了数据处理、实时流处理、机器学习和存储管理等多个方面。这个版本的优化和新特性使得开发者能够更高效地处理大规模数据，同时享受到...
Spark 为什么比Hadoop快
写博客只为学习
05-25 374
Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。 [color=red][b]其实，关键还是在于Spark 本身快。[/b][/color] [color=red][size=large][b]Spark为什么快？[/b][/size][/color] [b]...
Spark处理数据比Hive快的原因
Rnan_prince的博客
01-17 1934
Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。 其实，关键还是在于Spark 本身快。那么Spark为什么快呢？ 消除了冗余的HDFS读写 Hadoop每次shuffle操作后，必须写到磁盘，而Spark在shuffle后不一定落盘，可以cache到内存中，以便迭代时使用。如果操作复杂，很多的shufle操作，那么Hadoop的读写IO时间会大大增加。、 消除了冗
Spark为什么比Hadoop快？
onlyoncelove的博客
08-22 2577
最近在招聘面试的时候，往往听到应聘者在介绍Spark的时候，通常拿Spark官网案例Spark和Hadoop做比较。当我问到为什么Spark比Hadoop快时候，得到的答案往往是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 果真如此吗？事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的...
spark为什么比hadoop快
rover
02-04 1430
Spark比Hadoop快的主要原因有： 1.消除了冗余的HDFS读写 Hadoop每次shuffle操作后，必须写到磁盘，而Spark在shuffle后不一定落盘，可以cache到内存中，以便迭代时使用。如果操作复杂，很多的shufle操作，那么Hadoop的读写IO时间会大大增加。 2.消除了冗余的MapReduce阶段 Hadoop的shuffle操作一定连着完整的MapReduce操作...
精选资源
spark-3.2.1-bin-hadoop2.7.tgz
02-20
总结一下，"spark-3.2.1-bin-hadoop2.7.tgz"是一个专为Linux设计的Spark版本，与Hadoop 2.7兼容，提供了高效的大数据处理能力，涵盖了核心计算、SQL查询、流处理、机器学习和图计算等多个方面。在实际应用中，开发者...
spark-3.0.3-bin-hadoop2.7.tgz
03-19
Spark的核心特性在于其内存计算（In-Memory Computing）策略，这使得数据处理速度显著快于传统的MapReduce模型。它的主要组件包括： 1. **Spark Core**：Spark的基础框架，提供分布式任务调度、内存管理以及错误...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
在这个特定的压缩包"spark-3.1.3-bin-hadoop3.2.tgz"中，我们得到了Spark的3.1.3版本，它已经预编译为与Hadoop 3.2兼容。这个版本的Spark不仅提供了源码，还包含了预编译的二进制文件，使得在Linux环境下快速部署和...
精选资源
spark-3.2.1 安装包 集成 hadoop2.7
04-03
集成Hadoop 2.7意味着Spark能够与Hadoop生态系统中的其他组件（如HDFS、YARN）无缝协作，处理存储在Hadoop集群上的大量数据。 Spark的核心设计是基于内存计算，通过在内存中缓存数据，减少磁盘I/O，从而显著提高了...
Spark为啥比hadoop速度快？
snail_gesture的博客
11-02 7458
1.统一的RDD抽象和操作，基于该抽象一个栈就可以轻松的处理实时流计算，SQL交互式查询，机器学习和图计算等。 基于统一的技术堆栈，使得Spark称为大数据通用计算平台。 2.基于内存的迭代式计算 回顾下hadoop中经典处理过程： MapReduce在每次执行时都要从磁盘读取数据，计算完毕后都要把数据存放到磁盘上。 比如：机器学习的时候
为什么说Spark比Hadoop快
weixin_43907316的博客
04-19 846
当被问到为什么Spark比Hadoop快时候，得到的答案往往是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的数据通信问题：Spark多个任务之间数据通信是基于内存，而Hadoop是基于磁盘。 1、Spark vs MapReduce ≠ 内存 vs 磁盘 其实Spark和MapReduce的计算都发生在内存中，区别在于：MapReduce通常需要将
Spark 为什么快
weixin_42913329的博客
11-10 673
Spark 为什么快 聊spark必须聊rdd, rdd 全英文 Resilient Distributed Datasets，搞懂这三个单词就完事了其实。 Resilient 能复原的，弹回的，有弹性的。谈谈spark的内存机制，spark的内存整体分外堆内内存和对外内存，而在内存的使用上又分为数据内存和运行内存，就是数据存储和程序运行。 堆内内存的管理并不完全依托与jvm，jvm对于所有的对象都要序列化为二进制字节流，本质上是就是将不连续的空间转换为连续的空间并且需要的空间也会小，相应的也就有反序列化。
Spark 为什么比 Hadoop 快（六）
徐小慧_Blog的博客
09-14 1099
Spark 基于 Hadoop MapReduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的优点，并且具有更高的运算速度。Spark 能够比 Hadoop 运算更快，主要原因是：Hadoop 在一次 MapReduce 运算之后，会将数据的运算结果从内存写入到磁盘中，第二次 MapReduce 运算时在从磁盘中读取数据，两次对磁盘的操作，增加了多余的 IO 消耗；而 Spark 则是将数据一直缓存在内存中，运算时直接从内存读取数据，只有在必要时，才将部分数据写入到磁盘中。除此之
面试必备——Spark为什么比Hadoop快
南国的技术栈
01-02 882
前言 大数据工程师都喜欢拿Spark和Hadoop进行对比。在大数据开发面试中，我们也会经常说到Hadoop Spark这两个常用框架。当我们被问到为什么Spark比Hadoop快时，大多数人一般的理解就是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 果真如此吗？事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop...
总结Spark比Hadoop快的原因
TMH_ITBOY的博客
08-07 2438
1. 消除了冗余的HDFS读写 Hadoop的每次shuffle都必须写到磁盘中，而Spark的shuffle不一定写到磁盘中，而是可以缓存到内存中，以便后续的其他迭代操作时直接使用。这样一来，如果任务复杂，需要很多次的shuffle才能完成，那么Hadoop读写磁盘文件时花费在IO上的时间就会大大增加。 2. 消除了冗余的MapReduce阶段 Hadoop的每次shuffle必将连接着一...
+Spark哪个方面比Hadoop快
heima201907的博客
03-26 264
最近在招聘面试的时候，往往听到应聘者在介绍Spark的时候，通常拿Spark官网案例Spark和Hadoop做比较。当我问到为什么Spark比Hadoop快时候，得到的答案往往是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 果真如此吗？事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的数...
spark的四种模式，spark比MapReduce快的原因
wyqwilliam的博客
09-05 2629
Spark 是美国加州大学伯克利分校的 AMP 实验室（主要创始人 lester 和 Matei）开发的 通用的 大数据处理框架。   Apache Spark™ is a fast and general engine for large-scale data processing.   Apache Spark is an open source cluster computing sys...
spark比Hadoop计算速度快
最新发布
06-07
Spark和Hadoop都是大数据处理框架，但Spark以其更快的处理速度和内存计算能力而闻名。以下是Spark相比Hadoop的一些优势： 1. **内存计算**：Spark在内存中缓存数据，减少了磁盘I/O，使得迭代操作（如机器学习中的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值