hive与spark

二者区别

1 本质区别:Spark除了需要shuffle的计算，其他是将结果/中间结果持久化到内存中，而MR是都需要落地到磁盘(map.reduce落地都写)，因此Spark格外适用于频繁读写中间结果的迭代计算

2 资源:MR是基于进程，Spark是基于线程。MR是多进程单线程模型，而Spark是多进程多线程模型；

MR代码验证：MapReduce任务是多进程单线程模式验证

3 并行度:此外，速度区别之二在于任务的并行度不同：

Spark会增加任务的并行度从而提高速度：由于将中间结果写到磁盘与从磁盘读取中间结果属于不同的环节，MR只是将它们简单的通过串行执行衔接起来。而Spark把不同的环节抽象为Stage，允许多个Stage既可以串行执行，又可以并行执行。

4 运行环境:MR运行在YARN上

Spark支持多种运行模式 Local Standalone YARN

saprk on hive 和 hive on spark

spark on hive:hive只负责存储角色,spark负责解析sql优化 执行

hive on spark:hive既作为存储又负责sql的解析优化,spark负责执行.

mrshuffle和sparkshuffle区别

区别:

1 本质上相同,都是把map端数据分类处理后交给reduce过程

2 数据流有所区别,mr是map/spill/merge/shuffle/sort/reduce 等各阶段逐一实现,spark是基于dag数据流,可以实现更为复杂的数据流操作(宽窄依赖)