
spark
兰溪小城
谦卑的学习,细心的使用,学以致用,用而以学,且学且记录~~
展开
-
Spark Sql 总结
=================将spark DataFrame转换为List ========================================// SQL can be run over RDDs that have been registered as tables.DataFrame teenagers = sqlContext.sql("SELECT name F原创 2016-05-30 17:35:48 · 378 阅读 · 0 评论 -
Spark RDD API详解 Map和Reduce
本文转自:http://blog.youkuaiyun.com/jewes/article/details/39896301RDD是什么?RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数据是分区存储的,这样不同分区的数据就可以分布在不同的机器上,同时可以被并行处理。因此,Sp转载 2016-05-06 17:07:35 · 378 阅读 · 0 评论