w_j_w2010的博客

发表于2015-02-18 00:35|12121次阅读| 来源Databricks|14 条评论| 作者Reynold Xin，Michael Armbrust，Davies Liu 大数据SparkDataFrame 摘要：DataFrame，作为2014–2015年Spark最大的API改动，能够使得大数据更为简单，从而拥有更广泛的受众群体。 文章翻译自Introducin

Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使得迭代算法（前一步计算输出是下一步计算的输入）性能更高。 Shark只是一个基于Spark的查询引擎（支持ad-hoc临时