spark
关注
分享
扫一扫
胖胖大海
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark常用action算子操作 —— Java版
collect算子 package rddDemo.action; import org.apache.spark.SparkConf ; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext ; import org.apache.spark.api.ja...原创 2018-07-20 20:04:40 · 583 阅读 · 0 评论 -
Spark常用transformation算子操作 —— Java版
cartesian算子 package rddDemo.transformation; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api...原创 2018-07-20 20:15:27 · 870 阅读 · 0 评论 -
Spark常用action算子操作 —— Scala版
collect算子 package rddDemo.action import org.apache.spark.{SparkConf, SparkContext} /** * Created by asus on 2018/6/17. * transformation 算子collect * 将数据从各从节点fetch到driver端进行集中处理（慎用） */ ob...原创 2018-07-21 08:47:24 · 1432 阅读 · 0 评论 -
Spark实现分组取 top N 示例 —— Java版
主要步骤： 加载集合生成RDD（textFile） 对RDD进行转换，将要排序的属性进行分离，生成新的RDD（mapToPair） 对键进行分组，并在分组内基于第二步分离出的属性进行排序，并取排序结果的 top N （groupByKey，mapToPair） package rddDemo.examples; import org.apache.spark.SparkConf; imp...原创 2018-07-29 20:38:11 · 942 阅读 · 0 评论 -
Spark实现分组取 top N 示例 —— Scala版
主要步骤： 加载集合生成RDD（textFile） 对RDD进行转换，将要排序的属性进行分离，生成新的RDD（map） 对键进行分组，并在分组内基于第二步分离出的属性进行排序，并取排序结果的 top N （groupByKey，map） package rddDemo.examples import org.apache.spark.{SparkConf, SparkContext} ...原创 2018-07-29 20:40:15 · 1856 阅读 · 0 评论 -
Spark常用transformation算子操作 —— Scala版
cartesian算子 package rddDemo.transformation import org.apache.spark.{SparkConf, SparkContext} /** * 笛卡尔积 cartesian 算子 * Created by asus on 2018/7/15. */ object CartesianDemo { def main(a...原创 2018-07-22 19:16:32 · 753 阅读 · 0 评论