Spark SQL合并小文件的一种方法

最新推荐文章于 2025-06-25 00:05:00 发布
最新推荐文章于 2025-06-25 00:05:00 发布
阅读量1.3w 收藏 18
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： Spark SQL 合并小文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lingbo229/article/details/89925271
博客指出Spark SQL默认shuffle分区为200个，数据量小时写HDFS会产生200个小文件。给出解决方法，启用Adaptive Execution以启用自动设置Shuffle Reducer特性，还可设置每个Reducer读取的目标数据量，单位为字节，一般改成集群块大小。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

小文件问题原因：

spark.sql.shuffle.partitions=200  spark sql默认shuffle分区是200个，如果数据量比较小时，写hdfs时会产生200个小文件。可通过如下调整，使其自适应的合并小文件(本人测试环境从原来的200个小文件合并成一个文件)

 

解决方法：

spark-sql> set spark.sql.adaptive.enabled=true;     启用 Adaptive Execution ，从而启用自动设置 Shuffle Reducer 特性

spark-sql> set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=128000000;    设置每个 Reducer 读取的目标数据量，其单位是字节。默认64M，一般改成集群块大小

【Spark-HDFS小文件合并】使用 Spark 实现 HDFS 小文件合并
weixin_53543905的博客
12-26 1761
需求描述：1、使用 Spark 做小文件合并压缩处理。2、实际生产中相关配置、日志、明细可以记录在 Mysql 中。3、core-site.xml、hdfs-site.xml、hive-site.xml、yarn-site.xmlx 等文件放在项目的 resources 目录下进行认证。4、下面的案例抽取出了主体部分的代码，具体实现时需要结合 HDFS 工具类，利用好 Mysql 做好配置、日志、以及相关明细，结合各自业务进行文件合并。 2）代码实现 2.1.HDFSUtils 2.2.MergeFile
聊一聊 hadoop 中 hdfs 小文件合并成大文件
想练武，就得下功夫
10-30 3425
聊一聊hadoop小文件合并成大文件
hdfs小文件合并
岁月静好，做自己。
10-13 4701
hdfs小文件合并
合并小文件汇总（Hive/Spark）
最新发布
初阳
06-25 466
合并小文件的原因：过多的小文件会导致HDFS上元数据负载增加。并且小文件也会导致计算性能下降。
合并hdfs小文件
someInNeed的博客
11-24 670
如果需要合并HDFS上的某个temp目录下有很多小文件(1.txt,2.txt)，可以尝试使用下面的命令： hadoop fs -cat hdfs://cdh5/tmp/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt 注意：这种处理方法在数据量非常大的情况下可能不太适合，最好使用MapReduce来合并。 ...
hdfs小文件合并和hdfs高可用方案
qq_36800511的博客
09-17 2576
由于HDFS会在NameNode中存储元数据，而元数据是存在于内存中，所以HDFS是不适合用来存储小文件的。针对存在的问题，在HDFS可以进行小文件合并的操作。
Spark小文件异步合并工具
09-25
为了解决这个问题，出现了"Spark小文件异步合并工具"，它是一个用Java编写的实用程序，专门用于合并HDFS上的小文件，以提高处理效率。 该工具支持多种数据格式，包括text（文本格式）、parquet（列式存储格式）和...
Spark Hive 小文件合并
longlovefilm的博客
09-18 3204
背景 小文件带来的问题 对于HDFS 从 NN RPC请求角度，文件数越多，读写文件时，对于NN的RPC请求就越多，增大NN压力。 从 NN 元数据存储角度，文件数越多，NN存储的元数据就越大。 对于下游流程 下游流程，不论是MR、Hive还是Spark，在划分分片（getSplits）的时候，都要从NN获取文件信息。这个过程的耗时与文件数成正比，同时受NN压力的影响。在NN压力大，上游小文件多的情况下，下游的getSplits操作就会比较慢。 作业生成的文件数 为了简化问题，假设：
Spark合并输出小文件
ThreeAspects的博客
02-14 2547
  在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害： HDFS有最大文件数限制 浪费磁盘资源（可能存在空文件） Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度 方法一：通过spark的coalesce()方法和repartition()方法 val rdd2 = rdd1.coalesce(8, true) （true表示...
Spark SQL
Byyyi耀的博客
07-10 4759
Spark SQL详解
Spark SQL 概述
weixin_74292291的博客
07-11 1809
架构、特点、运行原理、API 相关概述、依赖、数据集、基本用法
HDFS小文件处理方案
08-30
讲解HDFS小文件处理方案方法
多个小文件合并成一个文件
12-22
描述了如何将多个小文件合并为一个文件，并进行索引的过程
Hadoop HDFS 小文件合并
大数据流浪法师的学习笔记与分享
11-07 2725
HDFS的小文件合并 由于Hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果Hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。 在我们的hdfs 的shell命令模式下，可以通过命令行将很多的hdfs文件合并成一个大文件下载到本地，命令如下 cd /ex...
hdfs 多个文件合并_处理 HDFS 上的过多小文件的问题？
张伟的专栏
04-25 6028
最近检查发现生产环境 HDFS 上文件和目录数量已经有 70w+ 个，对 namenode 的压力也越来越大，需要对 HDFS 上的小文件进行合并处理，但并非所有文件都可以合并，一般是针对 Hive 表映射在 HDFS 的文件进行合并来减少文件数量，下面整理出来的 3 个处理方法： 方法一 使用官方工具 parquet-tools 合并指定的 parquet 文件 使用 parquet-tools 对多个 parquet 文件进行合并，使用方法： # 合并 HDFS 上的 parquet 文件 .
hdfs 小文件合并简单工程
每天进步一点点儿
04-17 609
文件太小，想以月为分区，把文件做个合并，这样集群不会存大量的小文件，提高集群的性能。 代码 poem文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem...
HDFS的小文件合并(12)
大数据梦想家
11-09 4078
        由于Hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果Hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。     &n...
HDFS的小文件合并成大文件
okakio的博客
11-07 6046
前提: 在实际项目中，输入数据往往是由许多小文件组成，这里的小文件是指小于HDFS系统Block大小的文件（默认128M）， 然而每一个存储在HDFS中的文件、目录和块都映射为一个对象，存储在NameNode服务器内存中，通常占用150个字节。 由于Hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果Hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加...
spark合并小文件
04-28
### 使用 Spark 合并 HDFS 上的小文件 为了有效解决 HDFS 中小文件过多的问题，可以通过 Apache Spark 来实现小文件的合并。以下是基于 Spark 的解决方案，涵盖了主要的技术细节和注意事项。 #### 配置 Spark Session 在开始之前，需要创建一个 SparkSession 并对其进行必要的配置。以下是一个典型的 SparkSession 初始化代码示例： ```java import org.apache.spark.sql.SparkSession; import org.apache.spark.sql.SaveMode; public class MergeFilesApplication { public static void main(String[] args) { // 设置 Hadoop 用户名 System.setProperty("HADOOP_USER_NAME", "hdfs"); // 创建 SparkSession SparkSession sparkSession = SparkSession.builder() .config("spark.scheduler.mode", "FAIR") // 配置调度模式为公平调度 .config("spark.sql.warehouse.dir", "/warehouse/tablespace/external/hive") // 配置 Hive 仓库目录 .appName("MergeFilesApplication") .getOrCreate(); } } ``` 上述代码初始化了一个 SparkSession，并设置了调度模式和其他必要参数[^1]。 --- #### 设置动态分区调整参数 为了优化性能，在实际应用中通常会启用 Spark 的自适应执行（Adaptive Query Execution, AQE）。AQE 可以自动调整 shuffle partition 数量，从而减少不必要的小文件生成。以下是常用的配置参数： | 参数 | 描述 | |------|------| | `spark.sql.shuffle.partitions` | 初始 shuffle 分区数，默认值为 200 | | `spark.sql.adaptive.enabled` | 是否启用 AQE 功能 | | `spark.sql.adaptive.shuffle.targetPostShuffleInputSize` | 每个 reducer 的目标输入数据大小（字节） | | `spark.sql.adaptive.shuffle.targetPostShuffleRowCount` | 每个 reducer 的目标记录数 | | `spark.sql.adaptive.minNumPostShufflePartitions` | 自动调整后的最小分区数 | | `spark.sql.adaptive.maxNumPostShufflePartitions` | 自动调整后的最大分区数 | 可以在 Spark SQL 中通过以下方式设置这些参数： ```sql SET spark.sql.shuffle.partitions=10; SET spark.sql.adaptive.enabled=true; SET spark.sql.adaptive.shuffle.targetPostShuffleInputSize=128000000; -- 单位为字节 SET spark.sql.adaptive.shuffle.targetPostShuffleRowCount=10000000; SET spark.sql.adaptive.minNumPostShufflePartitions=1; SET spark.sql.adaptive.maxNumPostShufflePartitions=100; ``` 这些参数有助于更好地控制分区数量，避免因分区过少或过多而产生的问题[^2]。 --- #### 数据读取与合并 假设 HDFS 上有一个包含大量小文件的目录 `sourceDir`，可以使用以下代码将其合并成较少的大文件： ```java // 读取 Parquet 文件 Dataset<Row> dataFrame = sparkSession.read().parquet(sourceDir); // 减少分区数以合并小文件 int partitions = 10; // 根据需求设定合适的分区数 dataFrame.coalesce(partitions) .sortWithinPartitions("col1", "col2") // 如果需要按列排序 .write() .mode(SaveMode.Overwrite) // 覆盖已有数据 .option("compression", "gzip") // 压缩算法 .parquet(targetMergedDir); // 输出到目标目录 ``` 在此过程中，`coalesce` 方法用于减少分区数，从而降低输出文件的数量。如果希望进一步提升效率，还可以结合 `repartition` 或者 `sortWithinPartitions` 进行操作[^3]。 --- #### 解决文件覆盖冲突 在某些情况下，直接写入目标目录可能导致 `file already exists` 错误。为了避免这一问题，可以通过以下两种方式进行处理： 1. **强制覆盖**：将 Spark 配置参数 `spark.hadoop.validateOutputSpecs` 设为 `false`，允许覆盖已存在的目录。 ```scala spark.conf.set("spark.hadoop.validateOutputSpecs", "false") ``` 2. **删除旧文件后再写入**：先手动清理目标目录中的内容再进行写入操作。 ```java import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; FileSystem fs = FileSystem.get(new Configuration()); Path outputPath = new Path(targetMergedDir); if (fs.exists(outputPath)) { fs.delete(outputPath, true); // 删除整个目录 } ``` 这两种方法都可以有效解决问题，但需要注意潜在的风险，例如意外删除重要数据[^4]。 --- ### 注意事项 - 在大规模生产环境中，建议合理规划分区策略，避免过度集中化导致性能瓶颈。 - 若原始数据格式并非 Parquet，可以根据实际情况替换为 CSV、JSON 等其他支持的格式。 - 当前方案适用于静态数据场景；如果是流式数据，则需采用不同的设计思路。 ---
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值