
Spark
lby0307
这个作者很懒,什么都没留下…
展开
-
Spark编程指南入门之Java篇一-基本知识
1. Spark的Java开发包 Spark提供Java的开发包,当前最新版本是2.0.2版本:spark-core_2.11-2.0.2.jar,可以从下面链接下载: http://central.maven.org/maven2/org/apache/spark/spark-core_2.11/2.0.2/spark-core_2.11-2.0.2.jar 或者通过Maven转载 2017-11-14 21:08:11 · 294 阅读 · 0 评论 -
Spark编程指南入门之Java篇二-基本操作
4. RDD的操作 4.1 基本操作 RDD有2种类型的操作,一种是转换transformations,它基于一个存在的数据集创建出一个新的数据集;另一种是行动actions,它通过对一个存在的数据集进行运算得出结果。例如,map方法是转换操作,它将数据集的每一个元素按指定的函数转换为一个新的RDD;reduce方法是行动操作,它将数据集的所有元素按指定的函数进行聚合运算得出结果给驱动转载 2017-11-14 21:10:09 · 261 阅读 · 0 评论