spark编程02——spark中RDD的创建

最新推荐文章于 2023-12-31 13:49:20 发布

SY_Pistachio

最新推荐文章于 2023-12-31 13:49:20 发布

阅读量1.5k

点赞数

分类专栏： BigData学习文章标签： spark big data hadoop

本文链接：https://blog.youkuaiyun.com/SSYITwin/article/details/123311295

版权

BigData学习专栏收录该内容

24 篇文章

订阅专栏

本文介绍了如何在Apache Spark中通过内存创建RDD，包括`parallelize`和`makeRDD`方法，以及如何从外部文件（本地和HDFS）加载数据。还涵盖了使用`wholeTextFiles`读取文件内容的实例，并总结了RDD的高级创建方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建RDD的方式可分为四种：

1.从集合（内存）中创建

2.从外部存储（文件）中创建：本地/HDFS

3.从其它RDD创建，一个RDD运算完成后产生新的RDD

4.直接创建RDD（new）

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object spark02_rdd_create {
  def main(args: Array[String]): Unit = {
    val sparkConf=new SparkConf().setMaster("local").setAppName("MakeRdd")
    val sc=new SparkContext(sparkConf)
    
    //TODO 从内存中创建RDD
    val seq=Seq[Int](1,2,3,4)
    //parallelize并行
    val RDD1: RDD[Int] = sc.parallelize(seq)
    //makeRDD就是实现的RDD中的parallelize方法
    val RDD2: RDD[Int] = sc.makeRDD(seq)
    RDD2.collect().foreach(println)

    //TODO 从文件中创建RDD
    val RDD3=sc.textFile("datas/1.txt")
    RDD3.collect().foreach(println)
    //textFile是字符串的形式，行来读取的
    //wholeTextFiles是以文件为单位读取的，元组的形式（文件名，内容）
    val RDD4=sc.wholeTextFiles("datas")
    RDD4.collect().foreach(println)
    sc.stop()

  }
}

wholeTextFiles的运行结果：