子清的博客

文章目录第1章 RDD概述1.1 什么是RDD1.2 RDD特性第2章 RDD编程2.1 编程模型2.2 RDD的创建2.2.1 IDEA环境准备2.2.2 从集合中创建2.2.3 从外部存储系统的数据集创建2.2.4 从其他RDD创建2.2.5创建IDEA快捷键2.3分区规则2.3.1默认分区源码（RDD数据从集合中创建）2.3.2分区源码（RDD数据从集合中创建）2.3.3分区源码（RDD数据从文件中读取后创建）2.4行动算子 2.5 转换算子2.6 RDD序列化（未写完）2.7 RDD依赖关系2.7.

文章目录1. Transformation转换算子1.1 Value类型1.1.1 map()映射1.1.2 mapPartitions()以分区为单位执行Map1.1.3 map()和mapPartitions()区别1.1.4 mapPartitionsWithIndex()带分区号1.1.5 flatMap()压平1.1.6 glom()分区转换数组1.1.7 groupBy()分组1.1.8 GroupBy之WordCount1.1.9 filter()过滤1.1.10 sample()采样1.1.

文章目录parallelizemakeRDDtextFile**filter****map****flatMap****distinct****union****intersection****subtract****cartesian****mapToPair****flatMapToPair****combineByKey**java版本的介绍**reduceByKey****foldByKey****SortByKey** parallelize 调用SparkContext 的 paralleliz