Hive中SQL查询结果不符合where条件可能原因

最新推荐文章于 2024-03-08 16:19:28 发布

原创最新推荐文章于 2024-03-08 16:19:28 发布 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

本文深入探讨了SQL查询中常见的两个误区：一是处理多层AND和OR条件时忽略括号的重要性，二是未注意原表字段类型导致精度损失。通过实例解析，帮助读者理解并避免这些常见错误。

错误1.如果有多层AND和OR，需要注意括号，用AND链接多个括号内（OR）条件

错误2.确认原表字段类型，where条件中原表字段类型为bigint，查询条件写成字符串时，会被转为double进行匹配，此时会丢失精度，使结果错误。

注：该问题可以通过执行计划看出，附经典例图

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

sxw_ecnu

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

hive 慢sql 查询

Kafka_yx的博客

04-03

941

解析日志获取执行时间执行 OperationId 执行人 UserName=root 执行sql 数据分隔符为 \001 并写入 hivesql.txt。比如：/var/log/Bigdata/audit/hive/hiveserver/hive-audit.log。查找 hive 执行日志存储路径（一般是 hive-audit.log ）上传相关解析日志到hive。hive 慢sql 查询。

【Hive】5-HiveSQL 数据查询语言（DQL）

qq_45917176的博客

10-19

1161

HiveSQL 数据查询语言（DQL）

参与评论您还未登录，请先登录后发表或查看评论

hive无法执行带where语句的SQL

weixin_34357436的博客

11-13

1255

应用场景当在伪分布式集群上，搭建部署了hive以后，发现hive无法执行带where语句的sql，那hive将无法使用，下面介绍解决该问题的方案！操作步骤 hive连接执行sql，可以执行带where语句的sql，但是采用beeline连接，无法执行带wh...

hive：条件：where条件字段

不花的花和尚的博客

06-24

6065

where aec.addtime BETWEEN '2019-01-01' AND '2019-06-23' and !ai.arrivaldate >'2018-01-01 00:00:00' 加！取反。

hive中Lateral View使用指南

lehsyh的专栏

04-23

672

hive lateral view

hive 使用where条件报错 java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.ppd.ExprWalkerInfo.getConve...

weixin_30674525的博客

07-19

316

hadoop 版本 2.6.0 hive版本 1.1.1 错误： java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.ppd.ExprWalkerInfo.getConvertedNod…… 解决办法 1，修改Hive的配置文件conf/hive-site.xmlhive.optimize.ppd==false然后重启hadoop...

【SQL】hive中不支持in/not in(select...) 子查询怎么办，包含/不包含关系

PersephoneSu

06-21

1308

A表中不包含B表中的数据原代码 select * from class_a where age not in (select age from class_b where city = 'shanghai' ) left join改写： select * from class_a a left join (elect age from class_b where city = 'shanghai') b on a.age = b.age where b.age i

Hive中查询操作

01-20

- 使用`AS`关键字可以为列设置别名，提高查询结果的可读性，如`SELECT ename AS name, deptno dn FROM emp;` 3. **算数运算符** - Hive支持基本的算数运算，如加法(`+`), 减法(`-`), 乘法(`*`), 除法(`/`)和取模...

Hive SQL练习题库

04-24

Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，使不熟悉 MapReduce 的用户可以利用 SQL 语言进行数据查询，大大提升了数据分析的效率。...

SQL、Hive SQL等SQL血缘解析工具

01-14

// 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = ...

hive增加字段后对应字段hive查不出来

summer089089的博客

12-29

2050

1.增加字段后直接查看文件有值，但是hsq查出来就没有值，但是impala查询是有值的 hive建表语句 CREATE EXTERNAL TABLE nretail_ability_order.retail_report ( sub_order_no STRING COMMENT '订单号', order_source STRING COMMENT '订单来源:1.T销客 2.方舟 3.方舟移动端 8.T云店', company_name STRING COMMENT '开单客户商务中心', custome

superset连接Apache Spark SQL（hive）过程中的各种报错解决

富朝阳的博客

03-08

2564

superset连接Apache Spark SQL（hive）过程中的各种报错解决

hive字段类型为bigint但在where条件却用了字符串a！=''导致执行计划和结果有问题

weixin_42412645的博客

07-22

1770

今天写了一段SQL，代码逻辑没有问题，但是结果老是跟实际不符合。于是用explain查了一下执行计划也没有什么问题。于是只能一步一步临时表的查问题。最后定位到where a！=’’。下面是hive支持的隐式类型转换图表 hive测试结果： ...

数据表查询，where字段定义模糊

weixin_30593261的博客

03-14

117

今天遇到了这个问题用join 查询时，因为两个表都有site_id字段，所以报错，应该改为表名.site_id 转载于:https://www.cnblogs.com/tingfengqieyu/p/5274841.html

hive分区表增加字段会导致新增字段无法显示值的BUG

xiao_jun_0820的专栏

05-07

1万+

对hive分区表新增字段后，在执行插入分区的动作，会发现其实数据文件中已经有新字段值了，但是在查询的时候新字段的值还是显示为null。比如我们做一个简单的问题重现我们先创建一个分区表xj_test1,往分区dt=201501中插入一条数据： create table xj_test1(a string,b string) partitioned by ( dt string) row

解决Phoenix hive外表 where查询异常 undefined colum ，特殊打补丁方法

breezyjin的专栏

05-09

1124

上午写了一篇问题和解决办法的源码；那有朋友问要怎么打包呢？去哪里下源码？打包一堆报错好坑啊！今天告诉同学们上面的问题可以一个都不用管；（同学们会说你在搞笑吧）为了不打脸，废话不多说，亮剑！步骤1、新建项目pom项目，idea 和eclipse都可以；步骤2、确定修改的包在什么jar包中，对于“Phoenix hive外表 where查询异常 undefined colum ”，只...

HiveQL中where后面的and 和or 处理

VLTIC的专栏

07-17

7005

昨天我在尝试写一个很简单的HiveQL：语句如下 select ,a.ver,a.vid,a.wid,a.type,count(*) from (select stat_date,ver,get_json_object(json,"$.vid") as vid,get_json_object(json,"$.wid") as wid,get_json_object(json,"$.type"

在Hive 中建立Phoenix 外表，进行关联和where条件查询时候Undefined column. columnName=user

breezyjin的专栏

05-09

2715

Query ID = hadoop_20190508174141_0127402b-038c-4fc8-86d1-9470a9944e39 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the average load ...

hive学习之二：hive sql使用总结及遇到的问题

最新发布

03-11

<think>嗯，用户问的是Hive SQL中左连接（LEFT JOIN）的ON条件和WHERE条件的区别。我得先回忆一下Hive的处理逻辑。根据之前的引用资料，记得左连接时，ON条件不会过滤左表的数据，无论ON里的条件是否满足，左表的记录都会保留。而WHERE条件是在连接之后应用的，所以会过滤掉不符合条件的行，包括左表中那些在右表没有匹配到的行，这可能导致LEFT JOIN变成类似INNER JOIN的效果。首先，要明确左连接的基本特性：保留左表所有记录，右表没有匹配的则填充NULL。如果过滤条件放在ON里，比如右表的某个字段，这时候ON里的条件会影响右表的记录是否匹配，但左表的记录依然会被保留。例如，在引用[1]中提到，如果将右表的过滤条件放在WHERE里，会导致LEFT JOIN变成INNER JOIN，因为WHERE会在连接后过滤掉右表为NULL的行，这样左表原本保留的行可能就被排除了。然后，引用[2]和[4]都强调了ON和WHERE的执行顺序不同。ON条件是在连接过程中应用的，而WHERE是在连接之后。对于左连接来说，ON里的条件只会影响右表是否匹配，不会影响左表的数据保留。而WHERE则会对整个结果集进行过滤，包括左表的记录。如果左表的某个条件放在WHERE里，那么那些不符合条件的左表记录也会被过滤掉，这时候LEFT JOIN的效果可能就不如预期了。还要考虑到NULL值的问题，如引用[3]提到的，比较运算可能返回NULL，这会影响条件判断。在ON条件中，如果右表的某个字段为NULL，可能会导致条件不满足，但左表的记录依然存在。而WHERE中的条件如果涉及右表字段，会排除那些右表为NULL的行，从而改变结果。用户可能需要具体的例子来理解，所以最好给出两个对比的示例，比如在ON里过滤右表和在WHERE里过滤右表的不同结果。同时，还要说明如果对左表使用WHERE条件，会直接过滤左表的数据，这在LEFT JOIN中可能不适用，除非确实需要过滤左表。总结起来，关键点在于执行顺序和过滤的对象：ON影响右表的匹配，WHERE影响整个结果集。需要确保用户明白这两种条件放置位置的不同影响，避免误用导致查询结果不符合预期。</think>### Hive SQL左连接（LEFT JOIN）中ON条件与WHERE条件的区别 #### 一、核心区别在Hive SQL中，`ON`条件与`WHERE`条件的执行顺序和语义逻辑有本质差异： 1. **`ON`条件** - 作用于**连接过程**，仅影响**右表记录的匹配逻辑** - 即使条件不满足，**左表记录仍会被保留**（右表字段填充`NULL`） - 例如： ```sql SELECT * FROM a LEFT JOIN b ON a.id = b.id AND b.dt = '2023-01-01' -- 右表过滤条件 ``` 此时右表`b`未匹配的记录会显示为`NULL`，但左表`a`所有记录仍保留[^1][^2][^4]。 2. **`WHERE`条件** - 作用于**连接完成后的结果集**，对所有字段进行过滤 - 会**直接过滤掉不符合条件的记录**（包括左表记录） - 例如： ```sql SELECT * FROM a LEFT JOIN b ON a.id = b.id WHERE b.dt = '2023-01-01' -- 全局过滤条件 ``` 此时左表中未匹配到`b.dt='2023-01-01'`的记录会被过滤，相当于`INNER JOIN`。 #### 二、执行顺序对比 $$ \text{执行顺序：ON条件 → 连接操作 → WHERE条件} $$ - **优先级**：`ON`条件优先级高于`WHERE`条件 - **数据保留**：`WHERE`条件可能导致左表数据丢失，`ON`条件仅影响右表匹配结果[^2] #### 三、典型场景分析 | 场景 | 条件位置 | 左表数据保留 | 右表数据匹配 | 等效操作 | |------|----------|--------------|--------------|----------| | 过滤右表 | `ON` | ✔️ | 仅匹配符合条件的记录 | 标准LEFT JOIN | | 过滤右表 | `WHERE` | ❌ | 过滤掉所有未匹配记录 | INNER JOIN | | 过滤左表 | `ON` | ✔️ | 不影响左表过滤 | 无效操作 | | 过滤左表 | `WHERE` | ❌ | 直接过滤左表记录 | 普通WHERE过滤 | #### 四、NULL值处理当比较运算涉及`NULL`值时（例如`1 < NULL`），结果为`NULL`，在条件判断中会被视为`FALSE`[^3]。例如：`WHERE b.col > 10`会排除`b.col IS NULL`的记录。 #### 五、实验验证 ```sql -- 测试数据 CREATE TABLE a (id INT, value STRING); INSERT INTO a VALUES (1,'A'), (2,'B'); CREATE TABLE b (id INT, status STRING); INSERT INTO b VALUES (1,'C'), (2,'D'); -- 场景1：ON条件过滤右表 SELECT * FROM a LEFT JOIN b ON a.id = b.id AND b.status <> 'C'; -- 结果：保留所有左表记录，右表id=1的记录被过滤 -- 场景2：WHERE条件过滤右表 SELECT * FROM a LEFT JOIN b ON a.id = b.id WHERE b.status <> 'C'; -- 结果：仅保留id=2的记录（左表id=1的记录被过滤） ```