3.1 掌握RDD的创建

本文主要介绍了RDD的创建方法及其在不同模式下的使用。RDD是Spark的基本数据结构，具有不可变、分布式和可分区的特性，支持容错和并行操作。创建RDD可以通过集合（如List、Array）或文件（如本地文件、HDFS文件）实现。在本地模式下，Spark Shell可以读取本地文件和HDFS文件生成RDD，读取本地文件时加不加file://前缀效果相同，但读取HDFS文件时必须加hdfs://master:9000前缀。在集群模式下，Spark Shell只能读取HDFS文件生成RDD，且必须加hdfs://master:9000前缀。通过这些方法，用户可以根据需求灵活创建RDD，为后续的分布式计算提供数据基础。