Spark核心编程：创建RDD（集合、本地文件、HDFS文件）

关注

原创最新推荐文章于 2026-06-22 14:30:06 发布 3.6k 阅读 AI 写同款· GEO 优化 ›

理解Hadoop & Spark Hadoop Spark 1. Spark与Hadoop的关系 2. Spark的特点 3. Spark架构&工作流程名词解释运行过程补充Job，Stage，Task的关系 DAG和RDD是什么 RDD的相关操作(creation, transformation, action) 开发者需要做哪部分工作 Hadoop 在大数据的背景下，我们需要分布式数据存储和处理的工具，来解决一些现实问题(如：基础设施崩溃(hardware broken/network failure 阅读详情

1,创建RDD

1.进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD之后，才可以通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的RDD。

2.Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建RDD；使用HDFS文件创建RDD。
注意：

1.使用程序中的集合创建RDD，主要用于进行测试，可以在实际部署到集群运行之前，自己使用集合构造测试数据，来测试后面的spark应用的流程。

2.使用本地文件创建RDD，主要用于临时性地处理一些存储了大量数据的文件。

3.使用HDFS文件创建RDD，应该是最常用的生产环境处理方式，主要可以针对HDFS上存储的大数据，进行离线批处理操作。

2.并行化集合创建RDD

1.如果要通过并行化集合来创建RDD，需要针对程序中的集合，调用SparkContext的parallelize()方法。Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。相当于是，集合中的部分数据回到一个节点上，而另一部分数据会到其他节点上。然后就可以用并行的方式来操作这个分布式数据集合，即RDD。

2.调用parallelize()时，有一个重要的参数是可以指定，就是要将集合切分成多个partition。Spark会为每一个partition运行一个task来进行处理。Spark官方的建议是，为集群中的每个CPU创建2~4个partition。Spark默认会根据集群的情况来设置partition的数量。但是也可以在调用parallelize()方法是，传入第二个参数，来设置RDD的partition数量。

3.案例：1到10累加就和。

Java版：

    //创建JavaSparkContext
    JavaSparkContext sc = new JavaSparkContext(conf);
    //通过并行化集合的方式创建RDD
    List<Integer> numbers = Arrays.asList(1,2,3,4,5,6,7,8,9,10);
    JavaRDD<Integer> numberRDD = sc.parallelize(numbers);

    //执行reduce算子操作
    //相当于，先进行1+2=3，接着3+3=6，。。。
    int sum = numberRDD.reduce(new Function2<Integer, Integer, Integer>() {

        private static final long serialVersionUID = 1L;

        @Override
        public Integer call(Integer num1, Integer num2) throws Exception {

            return num1 + num2;
        }
    });
    System.out.println(sum);

Scala版：

val numbers = Array(1 to 10:_*)
val numberRDD = sc.parallelize(numbers, 3)
val num = numberRDD.reduce(_ + _)
println(num)

3. 使用本地文件和HDFS创建RDD

1.Spark是支持使用任何Hadoop支持的存储系统上的文件创建RDD的，比如说HDFS、Cassandra、HBase以及本地文件。通过调用SparkContext的textFile()方法，可以针对本地文件或HDFS文件创建RDD。
注意：

1、如果是针对本地文件的话，如果是在windows上本地测试，windows上有一份文件即可；如果是在spark集群上针对linux本地文件，那么需要将文件拷贝到所有worker节点上。

2、Spark的textFile()方法支持针对目录、压缩文件以及通配符进行RDD创建。

3、Spark默认会为hdfs文件的每一个block创建一个partition，但是也可以通过textFile()的第二个参数手动设置分区数量，只能比block数量多，不能比block数量少。
案例：文件字数统计

java版：

            //使用本地文件来创建RDD 
    JavaRDD<String> lines = sc.textFile("G://SparkDevel//test//wordCount//data//spark.txt");
    //使用HDFS文件来创建RDD
    //avaRDD<String> lines = sc.textFile("hdfs://spark1:9000/data/input/spark.txt");
    //RDD中每个元素的长度
    JavaRDD<Integer> length = lines.map(new Function<String, Integer>() {
        private static final long serialVersionUID = 1L;

        @Override
        public Integer call(String line) throws Exception {
            return line.length();
        }
    });
    //RDD中字母数量
    int numbers = length.reduce(new Function2<Integer, Integer, Integer>() {

        private static final long serialVersionUID = 1L;

        @Override
        public Integer call(Integer v1, Integer v2) throws Exception {
            return v1 + v2;
        }
    });
    //打印
    System.out.println(numbers);

Scala版：

//使用本地文件创建RDD
val lines = sc.textFile("G://SparkDevel//test//wordCount//data//spark.txt", 4)
//使用HDFS文件创建RDD
//val lines = sc.textFile("hdfs://spark1:9000/data/input/spark.txt", 4)
val numbers = lines.map(line => line.length()).reduce(_ + _)
println(numbers)