Spark之RDD的创建

最新推荐文章于 2024-10-10 20:29:24 发布

李东要努力

最新推荐文章于 2024-10-10 20:29:24 发布

阅读量448

点赞数

本文链接：https://blog.youkuaiyun.com/weixin_45034355/article/details/103318137

版权

这篇博客介绍了Spark中的核心概念——弹性分布式数据集（RDD），详细阐述了如何通过并行集合和外部数据集两种方式创建RDD。并行集合可以通过`parallelize`和`makeRDD`方法从现有集合创建，而外部数据集则支持从Hadoop兼容的存储源如HDFS、HBase、S3等读取。RDD的操作包括并行化操作和数据读取，强调了分区数在性能中的重要性，以及如何通过`textFile`等方法读取不同格式的文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

弹性分布式数据集（RDD）

Spark围绕弹性分布式数据集（RDD）的概念展开，RDD是可并行操作的元素的容错集合。

创建RDD的方式有两种：

1.并行化驱动程序中的现有集合

2.引用外部存储系统（例如共享文件系统、HDFS、HBase、或Hadoop InputFormat的任何数据源）中的数据集

1.并行集合

有两种方法创建并行集合：parallelize、makeRDD

用scala语言创建

def main(args: Array[String]): Unit = {
    val sc = new SparkContext(new SparkConf().setAppName("Test3").setMaster("local[*]"))
    val data = Array(1,2,3,4,5)
    //第一种方式创建RDD
    val dataRDD: RDD[Int] = sc.parallelize(data)
    //第二种方式创建RDD