
spark
修炼到救赎
这个作者很懒,什么都没留下…
展开
-
Spark的7个案例
/** * 1.处理average.txt,计算出第二列数据的均值 * 1 16 * 2 74 */ package com.dasenlin.spark import org.apache.spark.SparkConf import org.apache.spark.SparkContext object Average { def main(args: Arra...原创 2019-05-07 23:30:18 · 1580 阅读 · 0 评论 -
Spark join()和cogroup()区别
官网对join和cogroup解释 示例代码: /** * join(otherDataSet,[numTasks]) * 加入一个RDD,在一个(k,v)和(k,w)类型的dataSet上调用,返回一个(k,(v,w))的pair dataSet。 */ def join(): Unit ={ val list1RDD = sc.parallelize(...转载 2019-05-30 00:40:37 · 1199 阅读 · 0 评论