spark的缺点其实就是的它的优点所带来的问题。
目前Spark主要存在哪些缺点?
(a) JVM的内存overhead太大,1G的数据通常需要消耗5G的内存 -> Project Tungsten 正试图解决这个问题;
(b) 不同的spark app之间缺乏有效的共享内存机制 -> Project Tachyon 在试图引入分布式的内存管理,这样不同的spark app可以共享缓存的数据
转自http://www.aboutyun.com/thread-19852-1-1.html
关于这个的介绍:Project Tachyon (http://www.alluxio.org/) 可以查看官网的介绍。
本文探讨了Spark的两大主要缺点:JVM内存消耗过大及不同Spark应用间缺乏有效共享内存机制,并介绍了ProjectTachyon如何通过分布式内存管理解决这些问题,使不同Spark应用能共享缓存数据。
945

被折叠的 条评论
为什么被折叠?



