Spark算子系列
关注
分享
扫一扫
文章平均质量分 87
天下第一黑鬼_Big Data
大数据
展开
-
15、Spark_RDD算子——AggregateByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:25:39 · 193 阅读 · 0 评论 -
14、Spark_RDD算子——CombineByKey_ReduceByKey转换
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:23:08 · 135 阅读 · 0 评论 -
13、Spark_RDD算子——CombineByKey_GroupByKey转换
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:11:36 · 194 阅读 · 1 评论 -
12、Spark_RDD算子——MapPartitionWithIndex
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:09:21 · 343 阅读 · 0 评论 -
11、Spark_RDD算子——CoalesceAndRepartition
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:07:27 · 107 阅读 · 0 评论 -
10、Spark_RDD算子——MapPartition
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 17:19:47 · 267 阅读 · 0 评论 -
9、Spark_RDD算子——SortByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 17:17:30 · 254 阅读 · 0 评论 -
8、Spark_RDD算子——GroupByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 09:03:14 · 270 阅读 · 1 评论 -
7、Spark_RDD算子——Join
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 08:59:25 · 316 阅读 · 2 评论 -
6、Spark_RDD算子——Distinct
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 08:55:50 · 175 阅读 · 0 评论 -
5、Spark_RDD算子——Union
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 08:52:55 · 381 阅读 · 0 评论 -
4、Spark_RDD算子——sample
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-09-29 08:56:48 · 254 阅读 · 0 评论 -
3、Spark_RDD算子——filter
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-09-23 19:56:02 · 252 阅读 · 0 评论 -
2、Spark_RDD算子——flatMap
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-09-23 19:53:37 · 172 阅读 · 0 评论