RDD编程

W.J.Z

于 2018-11-06 21:20:55 发布

阅读量1.8k

点赞数

分类专栏：大数据文章标签： RDD编程累加器广播变量

本文链接：https://blog.youkuaiyun.com/Leader_wang/article/details/83792129

版权

本文深入探讨了Spark的RDD编程，包括如何从文件系统和并行集合创建RDD，详细介绍了reduceByKey、groupByKey、keys、values、mapValues及join等操作。还讨论了RDD的持久化机制，解释了如何利用persist()方法提高效率，并阐述了广播变量和累加器在优化计算过程中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 RDD创建

RDD创建有两种形式，1：从外部读取数据源，外部可指本地系统、HDFS系统等；2：调用SparkContext的parallelize方法，在Driver中一个已经存在的集合（数组）上创建。

1.1 演示前提

启动hadoop和spark-shell
>>start-dfs.sh   //启动hadoop
>>sprak-shell  //启动spark
>>hadoop fs -copyFromLocal /home/hadoop/sample.txt input
//将本地文件上传到分布式系统

在这里插入图片描述

1.2 从文件系统中加载数据创建RDD

在这里插入图片描述

1.3 通过并行集合创建RDD

在这里插入图片描述

2 RDD操作

RDD操作一般为转换和行动操作，转换表示一种RDD转换为另一种RDD，行动表示在RDD上进行非修改性操作。

常用转换操作：	说明
filter(func)	筛选出满足函数func的元素

最低0.47元/天解锁文章