Spark-saveAsTextFile 分区设置

最新推荐文章于 2022-04-18 13:08:26 发布
最新推荐文章于 2022-04-18 13:08:26 发布
阅读量920 收藏 1
点赞数 1
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaopihaierletian/article/details/118464363
版权

scala> val rd1 =sc.parallelize(Array(1 to 10000))

rd1: org.apache.spark.rdd.RDD[scala.collection.immutable.Range.Inclusive] = ParallelCollectionRDD[24] at parallelize at <console>:24

scala> rd1.partitions.size

res32: Int = 24

scala> rd1.saveAsTextFile("/zhouwu/rd1")

[root@master]# hdfs dfs -ls /zhouwu/rd1
Found 25 items
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/_SUCCESS
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00000
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00001
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00002
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00003
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00004
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00005
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00006
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00007
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00008
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00009
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00010
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00011
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00012
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00013
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00014
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00015
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00016
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00017
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00018
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00019
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00020
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00021
-rw-r--r--   3 root supergroup          0 2018-01-26 16:57 /zhouwu/rd1/part-00022
-rw-r--r--   3 root supergroup       2464 2018-01-26 16:57 /zhouwu/rd1/part-00023

一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？答案自然是有办法。

在RDD上调用   coalesce(1,true).saveAsTextFile()，   意味着做完计算之后将数据汇集到一个分区，然后再执行保存的动作，显然，一个分区，Spark自然只起一个task来执行保存的动作，也就只有一个文件产生了。

 又或者，可以调用repartition(1)，它其实是coalesce的一个包装，默认第二个参数为true。

事情最终就这么简单吗？显然不是。你虽然可以这么做，但代价是巨大的。因为Spark面对的是大量的数据，并且是并行执行的，如果强行要求最后只有一个分区，必然导致大量的磁盘IO和网络IO产生，并且最终执行reduce操作的节点的内存也会承受很大考验。Spark程序会很慢，甚至死掉。

这往往是初学Spark的一个思维陷阱，需要改变原先那种单线程单节点的思维，对程序的理解要转变多多个节点多个进程中去，需要熟悉多节点集群自然产生多个文件这种模式。

此外，saveAsTextFile要求保存的目录之前是没有的，否则会报错。所以，最好程序中保存前先判断一下目录是否存在。

原链接：

http://blog.youkuaiyun.com/power0405hf/article/details/50596233

当我运行完一个Spark程序想把结果保存为saveAsTextFile， 
结果使用Hadoop fs -ls /output  后发现里面有一系列的part，好几千个。 
原因： 
运行Spark的时候把数据分成了很多份（partition），每个partition都把自己的数据保存成partxxx文件形式。 
如果想保存为一份的话，就要： 

先collect

或者

data.coalesce(1,true).saveAsTextFile()

也或者

data.repartition(1).saveAsTextFile( )       //You can also use repartition(1), which is just a wrapper for coalesce() with the suffle argument set to true.

data.repartition(1).saveAsTextFile( “HDFS://OUTPUT”) 

但是如果你的数据很大，难以在单机内存上装下，以上操作可能会造成单机内存不足。

原因在于以上操作都是讲分布在各个机器上的数据汇总到单机，然后再保存到磁盘（HDFS）上。

以上操作将各个机器上的RDD partition 合并到单一主机后再读入磁盘。

以下给出更安全的操作，即采用HDFS磁盘合并操作。

如果已经存了很多个part： 
可以把大文件夹getmerge：

把HDFS 上的多个文件 合并成一个  本地文件：

hadoop fs -getmerge /hdfs/output /local/file.txt

也可以：

hadoop fs -cat /hdfs/output/part-r-* > /local/file.txt

spark-core(完结)
weixin_59061079的博客
10-31 358
spark知识点
Spark-makeRDD分区源码解析
食鱼酱的博客
07-29 668
起因 object Spark_MakeRDD { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount") val sc : SparkContext = new SparkContext(sparkConf) // 设置3个分区 val
rdd.saveAsTextFile(“output“) 将处理的数据保存成分区文件
weixin_44342318的博客
04-18 468
rdd.saveAsTextFile(“output”) 将处理的数据保存成分区文件 package study.spark.core.rdd.builder import org.apache.spark.{SparkConf, SparkContext} object Spark01_RDD_Memory_Par1 { def main(args: Array[String]): Unit = { // TODO 准备环境 val sparkConf =
Maven工程中隐藏控制台的日志输出
qq_54021998的博客
05-28 1000
Maven工程中隐藏控制台的日志输出 在src/main/resources中添加一个file ：log4j.properties 内容如下 log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.Pattern
Spark在创建RDD时设置分区不起作用
YongDaiMe的博客
07-13 440
今天在练习Spark代码的时候遇到一个奇怪的现象： 这是我的原始数据，在idea中创建一个txt文件： 这是我的代码： val rdd: RDD[String] = sc.textFile("input/test.txt", 3) // 设置分区数为3 rdd.saveAsTextFile("output") 结果出现了四个分区： 要想解决这个问题，首先应该明确两个点： 分区数量到底是多少？ 每个分区到底存储什么数据？ 遇事不决查看源码。点开textFile方法的源码： 在代码的最后一行，我看到了
Scala函数saveAsTextFile()调用出错的解决方法
ChillLitchi的博客
06-30 2349
调用saveAsTextFile函数时，时常会遇到无权写入文本的报错。 程序运行完会建立很多子文件夹，但是最后的文本是空的，如图： 对此，我的同学的解决方法是：https://www.cnblogs.com/dreamboy/p/11187541.html 但是很遗憾，我这样做了之后却不可以。 于是再咨询过别的同学后，得到的解决方案是： 即只需要添加以下Hadoop环境变量即可。 我用这个方法确实解决了问题，在此给将来遇到该问题的小伙伴提供一点经验。 备注： 其实我...
spark踩到的坑，saveAsTextFile
weixin_45691780的博客
08-17 804
data.saveAsTextFile("/user/data/text/xxx.txt")默认保存在HDFS上面，由于保存的是txt的文件，想要从HDFS上面下载又需要很长时间 要想保存在本地需要加上file data.saveAsTextFile(“file:///user/data/text/xxx.txt”)才是到本地； ...
spark-2.4.6-bin-2.6.0-cdh5.7.0.tgz
07-25
Spark的弹性分布式数据集（RDD）是其核心抽象，它提供了一种容错的、只读的多分区数据集合。RDD操作可以是转换（transformations），如map和filter，或者行动（actions），如count和saveAsTextFile。转换创建新的RDD...
Spark-shell批量命令执行脚本的方法
09-15
例如，设置Hive的动态分区策略，切换到“hr”数据库，将表“t_abc”的所有数据保存为文本文件，然后计算两个数据集的交集并返回元素个数。 这个脚本的一个关键特性是使用`!EOF`和`!EOF`来创建一个“here document”...
spring-spark-word-count：使用Spring Boot的Apache Spark的经典字数计算示例
02-03
Apache Spark的核心在于弹性分布式数据集（Resilient Distributed Dataset, RDD），它是一种可分区的、容错的数据集合，可以在集群上的多个节点之间并行操作。在这个示例中，Spark将用于读取文本文件，分割单词，并...
Spark的saveAsHadoopFile自定义文件名
claww的博客
05-30 1043
class PairRDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any] { //1)文件名：根据key和value自定义输出文件名。 name：对应的part-0001文件名 override def generateFileNameForKeyValue(key: Any, value: Any, name: String): String ={ val fileName=key.as...
Spark saveAsTextFile
weixin_45216482的博客
03-16 1783
当我运行完一个Spark程序想把结果保存为saveAsTextFile， 结果使用hadoop fs -ls la /qy/151231.txt后发现里面有一系列的part，好几千个。 原因： 运行Spark的时候把数据分成了很多份（partition），每个partition都把自己的数据保存在partxxx文件夹。 如果想保存为一份的话，就要： 先collect 或者 data.coalesce(1,true).saveAsTextFile() You can also use repartiti..
大数据学习-Spark算子（三）之RDD的其他操作
WeixinX_的博客
09-10 321
Spark算子（三）之RDD的其他操作 大数据学习-Spark算子（一）之基本RDD操作 大数据学习-Spark算子（二）之Pair RDD操作 文章目录Spark算子（三）之RDD的其他操作5、RDD的其他操作1）`glom()`：2）`getNumPartitions()`：3）`coalesce(numPartitions,shuffle=False)`：4）`repartition(numPartitions)`：5）`cache()`：6）`persist()`：7）`pipe(command,[
Pyspark使用优化及踩坑点总结
weixin_43888760的博客
10-11 1134
1.coalesce滥用导致saveAsTextFile数据保存很慢 rdd.coalesce(1, True).saveAsTextFile(SAVE_PATH) 转换成：rdd.coalesce(1, True).saveAsTextFile(SAVE_PATH) 或：rdd.repartition(1).saveAsTextFile(SAVE_PATH) coalesce：分区时没有shuffle操...
Spark(Streaming)写入数据到文件-关键为根据数据内容输出到不同自定义名称文件(saveAsHadoopFile以及自定义MultipleOutputFormat)
znb769525443的专栏
08-15 5482
之前的Spark实时流处理的数据处理程序，要求把数据从kafka接收之后，分2路分别写入kafka和hdfs，写入kafka的部分之前已经有过总结，现在回过头来把之前的写入HDFS的地方重新总结一下，整个过程从头到尾有一个写入方式的优化，不过时间有点长啦，尽量描述完整( ˘ ³˘)♥。注意: 本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0 背景 在工作中，需要将从kaf...
spark中saveAsTextFile如何最终生成一个文件
静待花开
08-09 9812
在默认的textfile中，如果从hdfs中读取文件，源码中默认的分区数是2，如果想改变分区数，可以在textfile中设置第二个参数“分区数” 一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？  ...
Spark 重分区函数：coalesce和repartition区别与实现，可以优化Spark程序性能
热门推荐
吟啸徐行
12-02 2万+
源码包路径： org.apache.spark.rdd.RDD coalesce函数： 方法注释： Return a new RDDthat is reduced into numPartitions partitions. This results in a narrowdependency, e.g. if you go from 1000 p
一个非常有用的函数——COALESCE
数据库
12-16 1万+
很多人知道ISNULL函数，但是很少人知道Coalesce函数，人们会无意中使用到Coalesce函数，并且发现它比ISNULL更加强大，其实到目前为止，这个函数的确非常有用，本文主要讲解其中的一些基本使用： 首先看看联机丛书的简要定义： 返回其参数中第一个非空表达式 语法： COALESCE ( expression [ ,...n ] ) ...
coalesce
weixin_33882452的博客
05-12 110
coalesce我理解就是将多个partition合并成少量的partition。 data.coalesce(2,true) 第一个参数是partition数量 第二个参数是合并是是否进行shuffle操作。true是进行shuffle操作。false是不进行shuffle操作...
spark rdd编程spark-shell 交互式编程
最新发布
04-02
### Spark RDD 编程教程 RDD（Resilient Distributed Dataset）是 Spark 的核心抽象之一，表示一个不可变的、分区的数据集[^4]。它可以被并行操作，并支持多种转换和动作操作。 #### 创建 RDD 可以通过两种方式创建 RDD： 1. **从外部存储加载数据**：例如 HDFS 文件或其他分布式文件系统中的文件。 2. **通过已有的 Scala 集合对象**：适用于小型测试数据集。 以下是基于 `spark-shell` 的交互式编程示例： ```scala // 加载本地文件作为 RDD val textFile = sc.textFile("file:///path/to/your/file.txt") // 使用集合创建 RDD val data = Array(1, 2, 3, 4, 5) val distData = sc.parallelize(data) // 显示前几个元素 textFile.take(5).foreach(println) distData.collect().foreach(println) ``` 上述代码展示了如何从文件或内存数组中创建 RDD 并查看其内容。 --- ### Spark Shell 交互式编程 示例 `spark-shell` 是一种快速启动 Spark 上下文的方式，适合开发人员进行调试和原型设计[^2]。以下是一个简单的交互式编程流程： #### 启动 Spark Shell 运行命令如下： ```bash bin/spark-shell ``` 这将在本地模式下启动 Spark，默认绑定地址为 `http://localhost:4040`，提供 Web UI 查看任务状态。 #### 数据处理实例 假设有一个名为 `input.txt` 的文本文件，其中每行包含若干单词。我们希望统计每个单词出现的次数。 ```scala // 读取文件并分割成单词 val lines = sc.textFile("file:///path/to/input.txt") val words = lines.flatMap(line => line.split(" ")) // 将每个单词映射为 (word, 1)，然后按 key 聚合计数 val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _) // 输出结果 wordCounts.foreach(println) ``` 此代码片段实现了经典的 WordCount 功能，利用了 RDD 的 `flatMap`、`map` 和 `reduceByKey` 方法[^5]。 --- ### 关键方法解析 - **Transformation**: 如 `map`, `filter`, `flatMap`, `groupByKey`, `reduceByKey` 等用于定义计算逻辑。 - **Action**: 如 `collect`, `count`, `take`, `saveAsTextFile` 等触发实际计算。 这些方法共同构成了 Spark 中的核心编程模型。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值