hive--union all后无数据/少数据

原创 已于 2025-03-12 10:26:08 修改 · 7.2k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

于 2021-08-12 11:38:12 首次发布
文章探讨了在处理Hive ORC表数据时遇到的（aunionallb）查询无数据或少数据的问题。经过分析，发现可能由于orc文件元数据丢失导致。解决方案包括关闭hive.optimize.index.filter选项，增加reduce操作或使用临时表。同时，推荐了相关Hive性能优化和ORC、Parquet格式选择的文章进行深入学习。

文章目录

前言

  • 问题描述：（a union all b）两段sql单独执行都有数据，但是union all之后无数据或者少数据
  • 其他：a&b均为从orc格式的表中取数，且执行计划explain显示无reduce算子
  • 初步推测：orc格式存储+无reduce导致（所以实验了row_number→可行；distinct→可行），数据准确了，但是不太理解
  • 经问同事后，加上set hive.optimize.index.filter=false查询就可以了，问题的原因可能是数据加工过程中orc文件的一些元数据丢失了

解决

  • 方法一
    • set hive.optimize.index.filter=false 将元数据优化关掉
  • 方法二
    • 增加reduce操作
  • 方法三
    • 临时表解决

推荐阅读

hive 生产问题汇总
KANGBboy的博客
12-27 1859
1、全转decimal相加，不然会被强制转decail，如result2：两个declimal计算不会造成精度丢失， double和decimal计算可能造成精度缺失，hive中double和decimal两个类型计算会返回double，有可能造成精度缺失。而在向量化查询执行中，每次处理包含多行记录的一批数据，每一批数据中的每一列都会被存储为一个向量（一个原始数据类型的数组），这就极大地减少了执行过程中的方法调用、反序列化和不必要的if-else操作，大大减少CPU的使用时间。
HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)
知行合一
09-16 5637
HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)
Hive索引功能测试
Syn良子的博客
08-31 334
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 从Hive的官方wiki来看，Hive0.7以后增加了一个对表建立index的功能,想试下性能是否有很大提升，参考了一些资料亲手实现了一遍，记录下过程和心得 一.测试数据准备 1.新建一个gen-data.sh脚本，内容如下 #! /bin/bash #generating 1.7G raw
hive查询结果缺少数据——某些union all和join情况下会缺少数据
weixin_42474635的博客
09-01 3893
在使用hive sql 进行union all查询结果时，缺少数据 在使用hive sql 进行join 关联时,查询结果明显缺少数据，或于presto或其他查询渠道查询结果不一致时 原因可能是orc文件在加工过程中造成的部分元数据丢失，关闭元数据优化就可以了 set hive.optimize.index.filter=false; ...
hive3 union 丢数据
胖胖的博客
09-21 1024
hive3 union 丢数据
精选资源
spark或mr引擎插入的数据，hive表查询数据为0
02-28
当使用`UNION ALL`操作时，Tez引擎会在原始分区目录下创建一个子目录来存放合并后的数据，而不是直接将数据写入到分区目录中。这种情况下，如果查询引擎没有正确配置来处理这种情况，就会导致无法读取到实际的数据。...
【Hive-优化】Hive的优化方式四（数据倾斜优化）
weixin_53543905的博客
02-27 1190
1、对于skewjoin.key，在执行job时，将它们存入临时的HDFS目录，其它数据正常执行。2、对倾斜数据开启map join操作（多个map并行处理），对非倾斜值采取普通join操作。操作是否支持倾斜数据的负载均衡处理。开启skewin以后，究竟多大的数据才会被认为是倾斜了的数据呢？如果数据量很大或者出现了数据倾斜比较严重的情况，如何来优化呢？应用了表连接倾斜优化以后，会在执行计划中插入一个新的。中存储的有数据倾斜信息时，才能生效。操作，并输出结果，这样处理的结果是。阶段的执行时间，提升总体性能。
linux hive可视化工具,Hive---基于Hadoop的数据仓库工具讲解
weixin_36257663的博客
05-12 668
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用来开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。Hadoop框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。Hadoop体系结构...
Hive union all性能优化
鲸鱼
03-23 1616
目录一、原SQL二、调优参数1.set hive.exec.parallel=true;2.set hive.exec.parallel.thread.number=32;3.性能对比 一、原SQL ***** 运行时间58min ******** select `time`,srcroot,srctag,terminal ,tokentype as type,count(1) as cnt from hdp_quc.ucent_login_rec_hive_part where `time`
Sql中的UNION ALL
07-17
此资源为.txt文件，里面描述了sql中union all的使用方法和案例，如果需要可以下杂
hive union all 数据丢失问题优化
weixin_33826609的博客
07-24 4149
2019独角兽企业重金招聘Python工程师标准>>> ...
JS 数据前面加“+“变成数字类型
qq_41172629的博客
10-09 968
JS 数据前面加"+"变成数字类型 例： vara=+"1"; varb=+"1a"; varc=1++"1"; vard=+null; vare=+undefined; console.log(a); console.log(b); console.log(c); console.log(d...
hive lateral view explode + union all 丢数问题
oracle8090的博客
04-12 2840
select xxxxx from table lateral view explode(split(regexp_replace(businessdict,'\\[|\\]','__'),'__')) col as jsons where pt=${v_1day} and businessdict like '%name%' union all select xxxx from table 当使用 lateral view ...
踩坑，union后数据少了
qq_39594499的博客
04-09 6924
union后数据少了，不能包含重复行 之前一直关注union在两个表的连接后出现的不包含重复行，我这次是在分组数据后进行两个结果集的union。分组后的数据如下，出现了两个时间完全相同的数据，导致了我再用union连接的时候只出现了一条数据。 我在用的时候一直有个问题困扰了我，因为我的union的结果集一个空的，导致了我一直误以为是空数据集的问题。如下面的展示的sql代码，查询的结果为18条。 select * from (select dtlrf.jyje, dtlrf.
解决Spark查询Hive表扫描不到HIVE_UNION_SUBDIR的问题
私奔在线
03-29 5643
背景 　　使用Hive的insert overwrite/into select ... union all生成的Hive表数据时，会在原本的数据表目录下生成多个子目录（HIVE_UNION_SUBDIR_1、HIVE_UNION_SUBDIR_2），以存放数据文件（正常情况下数据文件会直接存放在数据表目录下）。 　　这时，如果使用spark-sql去查询该数据表的时候，会报 Not a file 的异常： Cause by: java.io.IOException: Not a file: hdf
【总结】数据库优化的若干方法
dengbo6824的博客
05-22 204
导图 下图是我结合自己的经验以及搜集整理的数据库优化相关内容的思维导图，如果图片不清楚，可以在浏览器中右键，在新窗口中查看(Chrome)或者查看图像(FireFox)。 常用关键字优化 在编写T-SQL的时候，会使用很多功能类似的关键字，比如COUNT和EXISTS、IN和BETWEEN AND等，我们往往会根据需求直奔主题地来编写查询脚本，完成需求要求实现的业务逻辑即可，但...
在sqll加上union后无数据_UNION 注入攻击
weixin_39626180的博客
11-28 495
原文来自：PORTSWIGGER WEB SECURITY >> Web Security Academy >>UNION attacks>>SQL injection UNION attacks 翻译完毕...当应用程序容易受到 SQL 注入攻击，并且查询结果在应用程序的响应中返回时，可使用 UNION 关键字从数据库的其他表检索数据。这就导致了 UNION ...
在sqll加上union后无数据_数据库允许空值(null)，往往是悲剧的开始（1分钟系列）...
weixin_39567943的博客
11-04 642
数据库字段允许空值，会遇到一些问题，此处包含的一些知识点，和大家聊一聊。数据准备：create table user (id int,name varchar(20),index(id))engine=innodb;insert into user values(1,'shenjian');insert into user values(2,'zhangsan');insert into...
hive union all 重复数据
最新发布
08-13
### 3.1 问题分析 在 Hive 中使用 `UNION ALL` 时，数据重复是一个常见现象。`UNION ALL` 的语义是将两个或多个查询结果集合并，**不进行去重处理**，因此如果原始数据中存在重复记录，合并后的结果也会保留这些重复值[^3]。 例如，若两个表中分别包含相同的记录，`UNION ALL` 会将这些记录全部保留，导致最终结果集中出现重复数据[^4]。 ### 3.2 解决方案 #### 3.2.1 使用 `DISTINCT` 去重 在 `UNION ALL` 合并之后，可以使用 `SELECT DISTINCT` 对最终结果进行去重。这种方式适用于对数据唯一性有要求的场景。 ```sql SELECT DISTINCT * FROM ( SELECT col1, col2 FROM table_a UNION ALL SELECT col1, col2 FROM table_b ) temp; ``` 该方法虽然可以去除重复记录，但会增加额外的计算资源消耗，尤其在数据量较大时[^1]。 #### 3.2.2 使用 `GROUP BY` 进行聚合去重 除了 `DISTINCT`，也可以使用 `GROUP BY` 对合并后的结果进行聚合操作，从而实现去重效果。 ```sql SELECT col1, col2 FROM ( SELECT col1, col2 FROM table_a UNION ALL SELECT col1, col2 FROM table_b ) temp GROUP BY col1, col2; ``` 该方法在某些情况下比 `DISTINCT` 更灵活，尤其是当需要对某些字段进行统计时。 #### 3.2.3 提前对源数据去重 如果源数据本身存在重复记录，可以在执行 `UNION ALL` 前对每张表单独进行去重处理，避免合并时引入重复数据。 ```sql SELECT col1, col2 FROM ( SELECT DISTINCT col1, col2 FROM table_a UNION ALL SELECT DISTINCT col1, col2 FROM table_b ) temp; ``` 这种方式可以有效控制最终结果集的大小，并减少后续处理的开销[^3]。 #### 3.2.4 使用 `UNION` 替代 `UNION ALL` 如果不需要保留重复记录，可以直接使用 `UNION` 操作符，它会自动对合并后的结果进行去重。 ```sql SELECT col1, col2 FROM table_a UNION SELECT col1, col2 FROM table_b; ``` 但需要注意的是，`UNION` 会引入额外的排序和去重操作，可能会影响查询性能，尤其在数据量较大时更为明显[^2]。 ### 3.3 注意事项 - **字段一致性**：使用 `UNION ALL` 或 `UNION` 时，所有子查询的字段数量、名称和数据类型必须一致，否则将导致查询失败。 - **别名使用**：合并后的结果集必须使用别名，否则在后续查询中无法引用该临时表。 - **性能权衡**：去重操作（如 `DISTINCT` 或 `UNION`）会增加计算资源消耗，应在数据唯一性和性能之间进行权衡。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值