spark下，关于saveAsTextFile的使用

休息的老张

已于 2024-04-27 16:38:39 修改

阅读量641

点赞数 3

文章标签： spark 大数据 sql hdfs

于 2024-04-27 16:32:38 首次发布

本文链接：https://blog.youkuaiyun.com/jcata/article/details/138252314

版权

刚看到一个很久以前的帖子，说在Dataset下直接使用saveAsTextFile会报错。以前我也碰到过。

以前使用SparkContext保存文件很简单，

比如读取文件使用：

scala> val textFile = sc.textFile("file:///sample/words.txt")

scala> textFile.saveAsTextFile("file:///sample/savefile")

spark2.0以后，不少人开始使用SparkSession来处理文件。如果需要保存文件需要将Dataset的值先转rdd，然后再保存。否则会报如下错误：

error: value saveAsTextFile is not a member of org.apache.spark.sql.Dataset[String]

解决方法如下：

scala> val textFile = spark.read.textFile("file:///sample/words.txt")

scala> textFile.rdd.saveAsTextFile("file:///sample/savefile")

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

休息的老张

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Spark saveAsTextFile

power0405hf的专栏

01-27

1万+

当我运行完一个Spark程序想把结果保存为saveAsTextFile，结果使用hadoop fs -ls la /qy/151231.txt后发现里面有一系列的part，好几千个。原因：运行Spark的时候把数据分成了很多份（partition），每个partition都把自己的数据保存在partxxx文件夹。如果想保存为一份的话，就要：先collect 或者data.coa

Spark算子[18]：saveAsTextFile、saveAsObjectFile 源码实例详解

行走的树

12-19

7756

1、saveAsTextFile将此RDD保存为一个压缩文本文件，使用元素的字符串表示形式。第一个参数：Path为保存的路径；第二个参数：codec为压缩编码格式；从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受PairRDD，所以在saveAsTextFile函数中利用rddToPairRDDFunct

3 条评论您还未登录，请先登录后发表或查看评论

spark saveAsTextFile保存到文件

热门推荐

跟我一起去征服

05-03

4万+

spark的saveAsTextFile方法只能指定文件夹，但是保存到本地的话，会报空指针错误。代码如下： public static void mySaveAsFile(){ SparkConf conf=new SparkConf() .setAppName("mySaveAsFile") .setMaster("local");

spark saveASTextFile

frogbar的博客

01-26

1万+

转自 https://www.cnblogs.com/devilmaycry812839668/p/6922738.html scala> val rd1 =sc.parallelize(Array(1 to 10000)) rd1: org.apache.spark.rdd.RDD[scala.collection.immutable.Range.Inclusive] = ParallelC

spark RDD算子（十一）之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等

Joie_TJ的博客

11-11

806

saveAsTextFile def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 codec参数可以指定压缩的类名。

Spark RDD算子(十二) 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等

timicai的博客

11-12

1424

目录一、saveAsTextFile二、saveAsSequenceFile三、saveAsObjectFile四、saveAsHadoopFile五、saveAsHadoopDataset六、saveAsNewAPIHadoopFile七、saveAsNewAPIHadoopDataset 一、saveAsTextFile 用于将RDD以文本文件的格式存储到指定路径。 codec参数可以指定压缩的类名。 val rdd = sc.makeRDD(1 to 10,2) rdd.saveAsTextFile(

spark saveastextfile

04-08

`b'spark saveastextfile'` 是一个字符串，应该是指 Apache Spark 中的命令 `saveAsTextFile()`。这个命令可以将一个 RDD（弹性分布式数据集）保存为文本文件，这样可以方便地在外部系统中读取和处理数据。具体使用...

saveAsTextFile原理-源码(spark3.0)

啊李

09-02

477

用mapPartitions函数将数据封装成Text(hadoop的数据类型)，返回的是MapPartitionRDD，在调用SaveAsHadoopFile /** * TODO：存储数据到文件中并指定压缩格式 * Save this RDD as a compressed text file, using string representations of elements. */ def saveAsTextFile(path: String, codec: ...

spark常用RDD算子 - saveAsTextFile、saveAsObjectFile 可保存到本地文件或hdfs系统中

小哇

08-13

4223

saveAsTextFile 函数原型 def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。从源码中可以看到，saveAsTextFile函数是依赖于saveAsHadoopFile函数，由于saveAsHadoopFile函数接受Pair..

spark saveAsTextFile

sysmedia的博客

05-08

1871

当我运行完一个Spark程序想把结果保存为saveAsTextFile，结果使用Hadoop fs -ls la /qy/151231.txt后发现里面有一系列的part，好几千个。原因：运行Spark的时候把数据分成了很多份（partition），每个partition都把自己的数据保存在partxxx文件夹。如果想保存为一份的话，就要：先collect 或

spark action之saveastextfile

weixin_30642561的博客

01-14

174

java 1 /** 2 *saveastextfile 把rdd中的数据保存到文件中,只能指定文件夹 3 *@author Tele 4 * 5 */ 6 public class SaveasTextFileDemo1 { 7 private static SparkConf conf = new SparkConf().setMaster("...

spark stream中的dstream对象saveAsTextFiles问题

艾@七的专栏

09-19

8211

利用spark streaming从kafka读取数据，进行流数据的统计分析，最后产生dstream类型的结果集，但是涉及到数据的保存时，遇到了一点小障碍。我们都知道，spark中普通rdd可以直接只用saveAsTextFile(path)的方式，保存到本地，hdfs中，但是dstream对象没有saveAsTextFile()方法，只有saveAsTextFiles()方法，而且，其参数只

大数据——Spark RDD算子（十一）保存操作saveAsTextFile、saveAsSequenceFile、saveAsObjectFile、saveAsHadoopFile

蜂蜜柚子加苦茶

11-12

6068

Spark RDD算子（十一）保存操作saveAsTextFile、saveAsSequenceFile、saveAsObjectFile、saveAsHadoopFilesaveAsTextFileScala版本存储到文件系统中指定压缩格式保存saveAsSequenceFilesaveAsObjectFileScala版本 saveAsTextFile def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, cod

spark--actions算子--saveAsTextFile

书灯的博客

07-13

607

将数据集作为文本文件保存到指定的文件系统、hdfs、或者hadoop支持的其他文件系统中

Spark Streaming 的saveAsTextFiles遇到的坑

weixin_34319374的博客

01-10

1103

使用sparkStreaming消费数据，并使用Dstream的saveAsTextFile保存数据到hdfs中，通过使用这个方法，生成的文件夹存在问题，代码例子如下： resultRdd.map(x=>x).saveAsTextFiles("hdfs:ip//data/storage/20181010/"+(new Date()))...

savaAsTextFiles将普通文件保存为文本文件【Java版纯代码】

wyqwilliam的博客

07-31

1627

package com.bjsxt; import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.streaming.Durations; import org.apac...

spark中saveAsTextFile如何最终生成一个文件

xiaopihaierletian的博客

07-03

854

　　一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？答案自然是有办法。　　在RDD上调用coalesce(1,true).saveAsTextFile()，意味着做完计算之后将数据汇集到一个分区，然后再执行保存的动作，显然，一个分区，Spark自然只起一个task来执行保存的动作，也就只有一个文件产生了。又或