本文介绍Spark的核心技术优势，包括内存和磁盘的高效利用、迭代式计算能力，并探讨了Spark在实际项目中的应用，比如为何许多公司选择用Java而非Scala进行Spark开发的原因，以及Spark与Hive的关系和数据输出方式。
1.spark运行优势
善于使用内存，磁盘，迭代式计算是其核心
2.现在为什么很多公司都是使用java开发spark
a.scala高手较少，java高手较多
b.项目对接比较容易
c.系统运维方便
3.spark只能取代hive的存储引擎，不能取代hive的数仓部分
4.数据输出
可以把数据输出到hdfs，hive，s3，hbase
5.RDD
弹性表现：
a.rdd分片默认保存在内存，如果数据存储不了，则放到磁盘中
b.很好的容错机制
c.test失败后会自动进行特定次数的重试，默认4次
d.stage如果失败会自动的进行重试，只计算失败的任务，默认重试3次
扫一扫
550
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
