Spark 中RDD和DataSet之间的转换

最新推荐文章于 2025-06-20 10:07:38 发布

Rachel_Channing

最新推荐文章于 2025-06-20 10:07:38 发布

阅读量6.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/sinat_37513998/article/details/82740706

本文介绍了Spark的RDD概念，包括RDD的创建、转换和恢复机制。RDD支持transformation和action操作，transformation用于数据结构转换，action触发计算并返回结果。RDD可通过persist方法缓存，以提高重复计算效率。内容还涉及RDD的持久化、排序和DataFrame操作，以及如何通过Spark SQL查询数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

什么是RDD:Spark提供了一个抽象的弹性分布式数据集，是一个由集群中各个节点以分区的方式排列的集合，用以支持并行计算。RDD在驱动程序调用hadoop的文件系统的时候就创建（其实就是读取文件的时候就创建），或者通过驱动程序中scala集合转化而来，用户也可以用spark将RDD放入缓存中，来为集群中某台机器宕掉后，确保这些RDD数据可以有效的被复用。
总之，RDD能自动从宕机的节点中恢复过来。

摘抄自官网的说明：

At a high level, every Spark application consists of a driver program that runs the user’s main function and executes various parallel operations on a cluster. The main abstraction Spark provides is a resilient distributed dataset (RDD), which is a collection of elements partitioned across the nodes of the cluster that can be operated on in parallel. RDDs are created by starting with a file in the Hadoop file system (or any other Hadoop-supported file system), or an existing Scala collection in the driver program, and transforming it. Users may also ask Spark to persist an RDD in memory, allowing it to be reused efficiently across parallel operations. Finally, RDDs automatically recover from node failures.

RDD的的操作类型（以下为个人从官