Spark算子[18]：saveAsTextFile、saveAsObjectFile 源码实例详解

最新推荐文章于 2025-02-28 08:44:01 发布

生命不息丶折腾不止

最新推荐文章于 2025-02-28 08:44:01 发布

阅读量7.7k

点赞数 2

分类专栏： spark 文章标签： spark 源码实例

本文链接：https://blog.youkuaiyun.com/leen0304/article/details/78841301

版权

本文详细解析了Spark的saveAsTextFile和saveAsObjectFile算子，包括它们的使用方法、源码分析及实战案例。saveAsTextFile将RDD保存为压缩文本文件，依赖于saveAsHadoopFile，而saveAsObjectFile则是将RDD元素序列化存储。实战中，提供了删除目录的Utils辅助函数，并提醒了本地文件系统的保存位置仅存在于Executor机器上。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、saveAsTextFile

将此RDD保存为一个压缩文本文件，使用元素的字符串表示形式。

第一个参数：Path为保存的路径；
第二个参数：codec为压缩编码格式；

从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受PairRDD，所以在saveAsTextFile函数中利用rddToPairRDDFunctions函数转化为(NullWritable,Text)类型的RDD，然后通过saveAsHadoopFile函数实现相应的写操作。

def saveAsTextFile(path: String): Unit
def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit

/**
 * Save this RDD as a compressed text file, using string representations of elements.
 */
def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit = withScope {
  // https://issues.apache.org/jira/browse/SPARK-2075
  val nullWritableClassTag = implicitly[ClassTag[NullWritable]]
  val textClassTag = implicitly[ClassTag[Text]]
  val r = this.mapPartitions { iter =>
    val text = new Te