速度快这个词对于任何架构需要针对应用场景来描述。

官网的这张图下边有一行字:Logistic regression in Hadoop and Spark
迭代场景下spark的处理速度大致是hadoop的100倍。
🅰️原因
那么快的原因主要有两点:
- 基于内存,spark中间结果不落盘(hadoop频繁落盘)
- 有DAG(有向无环图):来切分任务的执行先后顺序。
🅱️对比:
MR(mapreduce):

Spark:
可以看出MR中间频繁读写落盘,而spark则中间结果一直在内存中。
本文揭示了Spark在Hadoop基础上,通过内存优势和DAG调度提升迭代速度,达到100倍于Hadoop的处理效率。重点对比了MR的频繁磁盘操作和Spark的内存保留策略。
速度快这个词对于任何架构需要针对应用场景来描述。

官网的这张图下边有一行字:Logistic regression in Hadoop and Spark
迭代场景下spark的处理速度大致是hadoop的100倍。
🅰️原因
那么快的原因主要有两点:
🅱️对比:
MR(mapreduce):


1510

被折叠的 条评论
为什么被折叠?