Spark 和 MR(MapReduce) 的区别

最新推荐文章于 2025-02-16 21:41:21 发布
原创 最新推荐文章于 2025-02-16 21:41:21 发布 · 1.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #mr

本文从数据处理形式、代码书写及容错性三个方面对比了Spark与MapReduce（简称MR）。Spark基于内存进行数据转换，提供丰富的算子简化代码书写，并具备更高的容错能力。

个人总结了三点，如下：

  1. 数据处理形式不同：Spark的数据转换都是基于内存的，而MR都是处理一次刷到磁盘一次
  2. 代码书写的不同：Spark提供了非常丰富的算子，书写起来非常爽，而MR的书写就有点让人头痛
  3. 容错性不同：Spark的容错比MR更加高，因为Spark算子有血缘关系
Spark学习笔记之（一）：MR与Spark的区别
u010737756的博客
07-02 4799
本文仅列出了较大的区别点，实际mr与Spark为完全不同的大数据计算组件。 1.速度： MR与Spark的根本区别（关键优化）在于：Spark除了需要shuffle的计算，其他是将结果/中间结果持久化到内存中，而MR是都需要落地到磁盘(map.reduce落地都写)，因此Spark格外适用于频繁读写中间结果的迭代计算 而MR最终落地HDFS，Spark最终也会落地节点磁盘，因此如果只是简单的非迭代计算，MR最终只会比Spark多消耗一部分（HDFS不同datanode间的）网络IO。 所以如果有项目需求为简
Spark和MR的区别
MisteotleAC的博客
09-05 461
总结 MR是基于进程，spark是基于线程 Spark的多个task跑在同一个进程上，这个进程会伴随spark应用程序的整个生命周期，即使没有作业进行，进程也是存在的 MR的每一个task都是一个进程，当task完成时，进程也会结束 所以，spark比MR快的原因也在这，MR启动就需要申请资源，用完就销毁，但是spark把进程拿到以后，这个进程会一直存在，即使没有job在跑，所以后边...
Spark 和与MR的区别
蛋蛋淡淡定的庄园
11-28 1966
1.1、MapReduce 的发展 1.1.1、MRv1 的缺陷 早在 Hadoop1.x 版本，当时采用的是 MRv1 版本的 MapReduce 编程模型。MRv1 版本的实现 都封装在 org.apache.hadoop.mapred 包中，MRv1 的 Map 和 Reduce 是通过接口实现的。MRv1 包括三个部分： 运行时环境（JobTracker 和 TaskTracker） 编程...
Spark与MR的区别
Laoddaaa的博客
08-29 722
Spark与MR的区别
大数据---spark和mr的区别
热门推荐
lipviolet的博客
03-17 1万+
首先最核心的两点：内存和磁盘的区别；job中途失败重新计算的区别。 ---spark最核心的概念是RDD（弹性分布式数据集），它的所有rdd在并行运算过程程中，可以做到数据共享，也就是可以重复使用mr在计算过程中 ---mapr：一次数据过程包含从共享文件系统读取数据、进行计算、完成计算、写入计算结果到共享存储中，在计算过程中，不同计算节点之间保持高度并行，这样的数据流模型使得那些需要反复使用...
大数据之 Spark Shuffle 和 Hadoop MapReduce Shuffle的区别
代妈炼金术师
02-01 971
它采用了一种称为“shuffle write buffer”的机制，尝试在内存中缓存尽可能多的数据，当内存不足时再溢出到磁盘上的临时文件中。：由于 Map 阶段产生的中间数据会被写入磁盘，并且在 Reduce 阶段开始之前，这些数据需要从各个 Mapper 节点上读取到 Reducer 节点，这涉及到大量的磁盘 I/O 操作。：Shuffle 阶段是 Map 和 Reduce 之间的瓶颈，因为它会导致流水线操作的中断，即 Map 阶段完成后必须等待 Shuffle 完成才能启动 Reduce 阶段。
HadoopMapReduce和Spark究竟存在什么差异
最新发布
m0_73889530的博客
02-16 1210
注：HDFS全程Hadoop Distributed File System,它是专门为大数据存储设计的分布式文件系统，它设计的目标是有三个，1是超大规模存储，它的单个集群可扩展到PB级 2.具有高容错性，硬件的故障视为常态而非异常，3.流式数据访问：优化数据吞吐量而非低延迟（适合批量处理而非实时访问）1.在Map阶段中，它执行的操作是：读取HDFS数据 ----->本地计算------>写本地磁盘。3.在Reduce阶段：拉取数据 ---->聚合计算------>写HDFS。
spark或mr引擎插入的数据，hive表查询数据为0
02-28
在大数据处理场景中，经常会遇到使用不同执行引擎（如Spark、MapReduce (MR) 或 Tez）进行数据处理的情况。其中一种常见的问题是，在使用Spark或MR引擎对Hive表进行数据插入后，通过Hive查询这些数据时，结果却显示...
MapReduce与Spark和Flink三者的比较
zr19305489的博客
08-30 4870
MapReduce与Spark和Flink三者的比较 作者介绍：TNTEVE，狐小E资深开发工程师，专注移动协同办公平台的SAAS软件开发以及轻应用开发 最近开发了一款移动办公软件狐小E MapReduce MapReduce是编程模型，也是计算框架。开发人员基于MapReduce编程模型进行编程开发，然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。 MapReduce编程模型只包含Map和Reduce两个过程，map的主要输入是一对<Key, Value>值，经过map计
mr和spark的区别
weixin_45801864的博客
11-16 628
不严谨的说：mr每次计算中间结果需要落盘，spark计算结果存储于内存 其实mr、spark都使用到了内存计算、并且都落盘过 spark通过DAG对mr进行了一些优化，使得减少了与磁盘的交互，相比于mr有了更优解 但是mr每次落盘虽然慢了一些但是相对于spark更为稳定，当数据量很大的时候spark加载数据到内存可能导致OOM，因此mr适合计算较长周期的任务指标 ...
MR和Spark的比较
weixin_41100967的博客
03-21 1967
3、spark是粗粒度资源申请，也就是当提交spark application的时候，application会将所有的资源申请完毕，如果申请不到资源就等待，如果申请到资源才执行application，task在执行的时候就不需要自己去申请资源，task执行快，当最后一个task执行完之后task才会被释放。MapReduce中计算结果需要落地，保存到磁盘上，这样势必会影响整体速度，而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。最后，Spark更加通用。
一文详解spark与mr的不同，让你清楚的明白为什么spark比mr“快”
weixin_42307036的博客
01-05 3859
问题1描述： Spark计算比MapReduce快的根本原因在于DAG计算模型。一般而言，DAG相比Hadoop的MapReduce在大多数情况下可以减少shuffle次数（怎么体现？） 解答： Spark的DAGScheduler相当于一个改进版的MapReduce，如果计算不涉及与其他节点进行数据交换，Spark可以在内存中一次性完成这些操作，也就是中间结果无须落盘，减少了磁盘IO的操作。但是，如果计算过程中涉及数据交换，Spark也是会把shuffle的数据写磁盘的！！！ 另外有同学提到，Spar
MR与Spark的区别
hzp666的博客
03-18 575
1、MR与Spark的区别 1.hadoop中的一个任务称为job，一个job分为map task和reduce task 每个task都是在自己的进程中运行的，当task 运行结束以后，进程也会结束 2.spark的一个任务叫做application，一个application中有多个job，每触发一次action操作就会产生一个job，这些job可以并行也可以串行计算，每个job中有多个stage，stage是shuffle过程中DAGScheduler通过RDD之间的依赖关系划分job而来的，每个s
mr与spark的比较
weixin_34278190的博客
01-22 195
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark & MR的比较
qq_36770189的博客
07-24 585
都是分布式计算框架， Spark基于内存，MR基于磁盘（HDFS）。 Spark处理数据的能力一般是MR的十倍以上， Spark中除了基于内存计算外，还有DAG有向无环图来切分任务的执行先后顺序。 MR中只有map,reduce和join，而Spark中有各种场景的算子 ...
Spark学习笔记之（三）：MR与Spark 在Shuffle时的区别
u010737756的博客
07-02 263
MR与Spark 在Shuffle时的区别一级目录二级目录三级目录 一级目录 二级目录 三级目录
spark和mr的区别
04-28
Spark和MapReduce（MR）都是用于处理大规模数据的分布式计算框架，但它们有以下不同点： 1. 处理速度：Spark比MR快，因为它使用了内存计算，而MR则需要反复地将数据写入磁盘中。 2. 数据处理方式：Spark使用了弹性...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值