Spark RDD | 常用函数讲解与代码实践-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_43646592/article/details/131344808

本文详细介绍了Spark中的RDD操作，包括创建、Action与Transformation操作、PairRDD转换、缓存和分区操作。重点讲解了driver的作用，如启动Spark应用、解析DAG、任务调度和结果管理。还深入探讨了collect、count、reduce等Action操作以及map、filter、reduceByKey等Transformation操作，以及如何使用repartition和mapPartitions进行分区操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

😄 因为spark里用的就是RDD数据结构来存储数据，所以对数据处理离不开RDD的各种函数操作咯！这一节就跟着梁云大佬打卡下如何处理RDD。【下面章节有🔥的是用的比较多的函数】

文章目录

0、初始化pyspark环境与driver介绍
- 0.1、初始化
- 0.2、driver是啥？
1、创建RDD
- 1.1、法1：通过读取文件中的数据生成RDD
- 1.2、通过将内存中的对象并行化得到RDD
2、常用Action操作
3、常用Transformation操作
4、常用PairRDD的转换操作
5、缓存操作
- 5.1、.cache()
- 5.2、🔥.persist()
6、共享变量
7、分区操作

0、初始化pyspark环境与driver介绍

0.1、初始化

import findspark

findspark.init()

import pyspark 
from pyspark import SparkContext, SparkConf
conf = SparkConf()