问题解决: Spark无法读取有多个子目录的Parquet表

最新推荐文章于 2025-09-09 14:37:00 发布
原创 最新推荐文章于 2025-09-09 14:37:00 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#spark

当使用Tez处理数据并用union all整合时，会产生多个子目录导致Spark无法读取。解决方法包括避免最后一步使用union all，或者通过配置使Spark采用Hive的数据解析方式来读取子目录中的Parquet表。

问题解决: Spark无法读取有多个子目录的Parquet表

用tez做数据处理时，免不了要用union all来整合多个数据源的数据。但是如果最后一步是union all的话，就会生成多个子目录，这时用Spark就可能无法读取到子目录中的内容(取决于spark的配置)。

这个问题的原因是tez的union all是并行去做的，为了避免文件的冲突，tez写到了多个子目录里面。解决这个问题有两个方向，一个是不生成子目录，一个是修改spark的配置。

不生成子目录, 只要最后一步不是union all就好了

1、再sql最后面增加distribute by, 强制触发一次reduce过程
2、union all插表结束之后，再做一次自表插入(insert overwrite self select from self)
3、不用union all，而是insert overwrite一次，然后insert一次。

参考文档: https://grokbase.com/t/hive/user/158kd4k645/tez-anyway-to-avoid-creating-subdirectories-by-insert-with-union-all
在这里插入图片描述

最低0.47元/天 解锁文章
如何处理大规模数据集中的数据处理：Spark和ApacheFlink
AI天才研究院
07-20 2991
作者：禅与计算机程序设计艺术 随着互联网、移动互联网、物联网等新型应用的兴起，数据的快速生成、传播、处理和分析变得越来越重要。同时，由于各种原因，传统的数据仓库已经无法支撑业务的需求了，需要采用分布式计算框架对海量数据进行高效的处理和分析。因此，大数据时代即将到来。而Apache Spark和Apache Flink都是目前流行的两个开源
Spark，union无效
Love-Coding
01-06 983
val df1 = hiveContext.sql( s""" |select | * | from tableName |""".stripMargin) df2.union(df1) // 无效，因为上面的select*不行，要具体指定select的列名
spark读取多目录生成parquet文件
qq_42359675的博客
08-17 847
package mcd.etl.cosmos import java.io.File import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object scalaMegreData { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster(“local[*]”).setAppName(“scalaMegreDat
sparksql 读取hive表子目录问题排查
weixin_38148824的博客
03-13 2462
sparksql读取hive表子目录问题
spark 批量读取HDFS（hive分区）parquet文件
热门推荐
The palest ink is better than the best memory
12-18 1万+
情况说明：数据以parquet文件形式保存在HDFS上，数据中的某一列包含了日期（例如：2017-12-12）属性，根据日期对数据分区存储，如下图所示： 项目需求： 在项目中想要读取某一个月的数据，肿么办？ 解决方法： spark中读取本地文件的方法如下:sparkSession.read.parquet("hdfs://path")方法一： 要读取多个文件，文件的路径中有一段公共路径
spark读取hdfs上的多目录parquet文件
qq_42359675的博客
08-17 1856
package mcd.etl.cosmos import java.io.{File, PrintWriter} import java.net.URI import org.apache.hadoop.conf.{Configurable, Configuration} import org.apache.hadoop.fs.Path import org.apache.spark.SparkConf import org.apache.spark.sql.{DataFrame, SparkSessio
spark sql 支持多级目录
遥望......
10-26 2729
当表的分区有子目录时，spark sql默认是不支持的，可以用以下设置: 在hive cli里直接set mapreduce.input.fileinputformat.input.dir.recursive=true;就可以正常使用spark sql引擎 在代码层面可以尝试 .set("spark.hive.mapred.supports.subdirectories","true") .s...
精选资源
spark或mr引擎插入的数据，hive表查询数据为0
02-28
### Spark或MR引擎插入的数据，Hive表查询数据为0的问题解析 #### 问题背景与现象 在大数据处理场景中，经常会遇到使用不同执行引擎（如Spark、MapReduce (MR) 或 Tez）进行数据处理的情况。其中一种常见的问题是...
空间索引结构系列教程（九）：Spark环境下的分布式R树
最新发布
分享知识，拥抱变化
09-09 758
摘要：本文系统介绍了Spark分布式R树的设计与实现，针对海量空间数据的索引与查询问题，提出基于数据分片和并行计算的解决方案。文章详细阐述了两种核心分片策略（空间范围分片和混合分片）及其适用场景，并深入解析了R树的并行构建流程和分布式查询机制。在优化方面，提供了构建效率、查询性能和资源管理的具体策略。通过物流轨迹分析、POI检索等实际案例验证了方案的可行性。最后，对比分析了主流分布式空间索引方案的优劣，并展望了与向量索引融合、动态索引支持等未来发展方向。该方案有效解决了传统单机R树在处理TB/PB级数据时的
Spark核心知识，参数配置，内存优化，常见问题大全
一个写湿的程序猿
02-24 2298
Spark基础篇1、Spark有哪两种算子？2、Spark有哪些聚合类的算子，我们应该尽量避免什么类型的算子？3、如何从Kafka中获取数据？4、RDD创建有哪几种方式？5、Spark并行度怎么设置比较合适？6、Spark如何处理不能被序列化的对象？7、collect功能是什么，其底层是怎么实现的？8、为什么Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么什么问题发生？9、map与flatMap的区别？10、Spark on Mesos中，什么是的粗粒度分配，什么是
执行sparksql时报错，显示查询不到表分区下的子分区
weixin_42320809的博客
08-23 649
报错如图 解决办法： 添加开启文件递归查询的参数 set hive.mapred.supports.subdirectories=true; set mapreduce.input.fileinputformat.input.dir.recursive=true;
解决Spark查询Hive表扫描不到HIVE_UNION_SUBDIR的问题
私奔在线
03-29 5640
背景 　　使用Hive的insert overwrite/into select ... union all生成的Hive表数据时，会在原本的数据表目录下生成多个子目录（HIVE_UNION_SUBDIR_1、HIVE_UNION_SUBDIR_2），以存放数据文件（正常情况下数据文件会直接存放在数据表目录下）。 　　这时，如果使用spark-sql去查询该数据表的时候，会报 Not a file 的异常： Cause by: java.io.IOException: Not a file: hdf
云运维-初级1段-Linux磁盘管理
LiangZJ
10-23 452
Linux磁盘管理 1.查看磁盘或者目录的容量 1.1 命令 : df “df” 查看已挂载磁盘的总容量、使用容量、剩余容量等，可以不加任何参数，默认是按k为单位显示的，如图 df” 常用选项有 “-i” “-h” “-k” “-m”等, 使用“-i” 查看inodes使用状况，如图 “-h” 使用合适的单位显示，例如 ‘G’，如图 “-k”, “-m” 分别以K, M 为单位显示，如图 1.2 命令 : du “du” 用来查看某个目录或文件所占空间大小. 语法 : du [-
Hive on tez的insert union 子目录的问题
09-23 5763
hive tez insert union all问题 （1）问题描述 在hive中使用tez模式时，发现tez的输出结果在对应表目录中，生成了子目录，造成未配置tez的hive客户端对该表进行读取时，无法获取到数据。 检查表的输出目录，在分区目录下发现了两个子目录:1和2： /user/hive/test1/20170920000000/1 /user/hive/test1/20170
Hive Union all/ Union 操作中产生文件夹
不积跬步无以至千里
12-12 2480
背景: 今天在工作中遇到一个问题, 使用Union/Union ALL的时候, 结果表数据, 不会直接存放在表文件夹下面, 而是在表文件夹下面建个二级文件夹, 再内部才是HDFS文件. 结果表, 并不是分区表, 从而导致Spark无法正常读取Hive数据. 网上找了下结果, 但是并没有解决这个问题, 记录下. 类似解决方案: 1、https://stackov...
spark链接hive时踩的坑
qq_43819048的博客
12-08 966
而我们的hive数据是存放在hdfs上的，我们的spark进行查询数据时是使用hive的metastore连接的hive的数据库，也就是spark会从hdfs上读取数据，所以无论怎么查询都是查不出来数据的。同时hive中也可以看到这个数据库，建表插入数据也没有问题，但是当我们去查询数据库中的数据时，发现查不到数据，去查hive的元数据，发现，spark在创建数据库的时候将数据库创建在了本地文件系统中。这个数据库，如果没有，可能是spark创建在了其他的服务器节点上。还有另一种方法(慎用)
mr和tez跑出来的数据不一样，mr丢数据？
Lyx_h的博客
03-20 2566
1.问题描述 在hive中分别使用tez和mr两种模式进行计算(hql中包含union all)，最终得到的数据结果却不相同, mr在对表进行读取时，无法获取到数据。 2.查找原因 经过排查发现，读取表的输出目录，在分区目录下发现了两个子目录 /user/hive/warehouse/bigda.db/tab/1 /user/hive/warehouse/bigda.db/tab/2 查...
hive出现内存溢出_hive问题处理
weixin_33581873的博客
12-24 9829
内存溢出Client端内存溢出Client端发生内存溢出执行下面的看是很简单的一条sql语句：hive> select count(1) from test_tb_1_1;Query ID = hdfs_20180802104347_615d0836-cf41-475d-9bec-c62a1f408b21Total jobs = 1Launching Job 1 out of 1Number...
spark sql中 一段sql为什么有多个job
06-19
### 在 Spark SQL 中执行 SQL 查询时产生多个 Job 的原因 在 Spark SQL 中，一个 SQL 查询被拆分成多个 Job 是由 Spark 的分布式计算模型和查询优化器的特性决定的。以下是详细的原因和影响因素： #### 1. 数据分区与并行计算 Spark 的核心理念是将数据划分为多个分区，并通过并行计算来提高效率。当执行 SQL 查询时，Spark SQL 会根据数据的分区情况以及操作的性质，将任务分解为多个阶段（Stage），每个阶段可能对应一个或多个 Job。这种划分确保了计算资源的有效利用[^4]。 #### 2. Shuffle 操作导致的 Stage 划分 Shuffle 是 Spark 中一种昂贵的操作，它会将数据重新分布到不同的分区中。每当发生 Shuffle 操作时，Spark 会将当前的任务划分为一个新的 Stage，而每个 Stage 通常对应一个或多个 Job。例如，在执行 `GROUP BY` 或 `JOIN` 等需要重新分区的操作时，会产生新的 Stage 和相应的 Job[^3]。 #### 3. Catalyst 查询优化器的作用 Spark SQL 使用 Catalyst 查询优化器对 SQL 查询进行逻辑和物理优化。Catalyst 会将 SQL 查询转换为逻辑计划，然后进一步优化为物理计划。在这个过程中，某些复杂查询可能会被拆分为多个子查询，从而导致多个 Job 的生成。例如，复杂的多表联结或嵌套查询可能会触发多个 Stage 和 Job 的执行[^1]。 #### 4. 动态分区裁剪与广播优化 在某些情况下，Spark SQL 会应用动态分区裁剪或广播优化技术来提高查询性能。这些优化策略可能会导致额外的 Job 被创建。例如，当使用广播连接时，Spark 可能会先启动一个 Job 来广播小表，然后再启动另一个 Job 来处理大表的分区数据[^2]。 #### 5. 数据源与外部存储交互 如果 SQL 查询涉及从外部数据源（如 Hive、Parquet、JSON 等）读取数据，Spark SQL 可能会生成额外的 Job 来完成数据加载和预处理。例如，读取 Parquet 文件时，Spark 可能会先启动一个 Job 来解析文件元数据，然后再启动另一个 Job 来实际读取数据[^3]。 #### 示例代码：SQL 查询拆分为多个 Job 以下是一个简单的 SQL 查询示例，展示如何触发多个 Job： ```sql -- 创建临时视图 CREATE OR REPLACE TEMP VIEW data AS SELECT * FROM parquet.`path/to/data`; -- 执行复杂查询 SELECT a.id, COUNT(b.value) FROM data a LEFT JOIN data b ON a.id = b.id GROUP BY a.id; ``` 上述查询可能涉及以下步骤： 1. 读取 Parquet 文件元数据（Job 1）。 2. 广播小表数据（Job 2）。 3. 执行联结和聚合操作（Job 3）。 #### 影响因素总结 - **Shuffle 操作**：每次 Shuffle 都会导致新的 Stage 和 Job 的生成。 - **查询复杂度**：复杂的 SQL 查询可能被拆分为多个子查询，从而产生多个 Job。 - **数据源类型**：不同的数据源可能需要额外的 Job 来完成数据加载和预处理。 - **优化策略**：动态分区裁剪、广播连接等优化策略可能触发额外的 Job。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值