qq_43283527的博客

spark sql

目录1. RDD1.1 RDD的创建1.2 持久化1.3 分区1.4 RDD相关的操作1.4.1 转换操作1.4.2 行动操作1.4.3 PairRDD（键值对） 1. RDD 本质：一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可分成多个分区，每个分区就是一个数据集片段。 // 创建一个spark config val sparkConf = new SparkConf().setMaster(config("spark.cores")).setAppName("zh