hive字段类型为bigint但在where条件却用了字符串a！=''导致执行计划和结果有问题

最新推荐文章于 2024-04-23 14:42:34 发布
最新推荐文章于 2024-04-23 14:42:34 发布
阅读量1.7k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hive 文章标签： hive hive隐式转换
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42412645/article/details/96868481
本文分享了一个SQL查询结果异常的问题排查过程。作者通过逐步检查及使用临时表的方式最终定位到了问题所在，即where条件中字符串空值判断导致的数据不匹配。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天写了一段SQL，代码逻辑没有问题，但是结果老是跟实际不符合。于是用explain查了一下执行计划也没有什么问题。于是只能一步一步临时表的查问题。最后定位到where a！=’’。
下面是hive支持的隐式类型转换图表
在这里插入图片描述
hive测试结果：
在这里插入图片描述

sql where条件中加if判断_产品经理学SQL—where条件和模糊查询
weixin_39607474的博客
12-06 4229
上一次分享我们讲到了单表查询中的group by（产品经理学SQL（一））。这一次我们来说说单表查询中的where和like（模糊查询）。1、where 条件实际工作中分析的时候，有几千万行，所以一定要过滤。where就是起到一个过滤的作用，过滤一些你不想要的数据。比较：=，< , > , =指定范围：between and（并列，同时满足条件） or（或，满足其中一个条件）集合：in...
Hive(八)数据类型
技术博客
08-12 571
例如DECIMAL(5,2)用于存储-999.99到999.99的数字，省略掉小数位,DECIAML(5)表示-99999到99999的数字。Hive有4种带符号的整数类型：TINYINT,SMALLINT,INT,BIGINT，分别对应Java中的byte,short,int,long。基本类型包含：tinyint，smallint，int，bigint，float，double，boolean，string，timestamp，binary。Hive中数据类型可以分为两类：基本类型和复杂类型。
spark-sql中字段为bigint类型，但是查询用的字符串产生的bug
iilegend的博客
12-19 3650
在一次工作实践中，记录了一次我的失误和坑。 首先我这个字段为bigint 类型。 但是我查询的时候 让该字段='123124565434567897654’这种类似的方法查询，发现查询的数据是有问题的。 发现查出来两条，但是前半部分是正常匹配的，只是后面的部分匹配有问题。 后来发现字段类型不匹配，用explain打印出来，发现两边都转成了double，才会导致这个问题。 统一一下字段类型之后数据就是正常的了。详细的问题就是隐式转换的问题了。 具体解释：bigint和string比较时会隐式地都转换成do
mysql数据库bigint类型字段当查询条件使用
weixin_44003773的博客
03-10 3636
mysql数据库bigint类型字段当查询条件使用 因为bigint类型会存在精度失真的问题，当字段长度后面几位相近时，拿这个类型的字段查询时会被认为是相等的，同时被查询出来。 使用该类型作为查询条件时，我是用的时下面的方法concat（）将字段转为字符类型， SELECT * FROM test WHERE id = concat(1493140203433414658) AND is_deleted =0 有其他处理方法的欢迎留言 ...
mysql数据库big_mysql数据库字段bigint使用
weixin_36026999的博客
02-18 2027
Mysql里有个数据类型bigint在java转换成实体对象时，处理不当容易出现以下异常：java.lang.ClassCastException: java.lang.Long cannot be cast to java.math.BigInteger只需要注意以下情况，就可避免此类异常：当数据库中该属性添加unsigned，则在对象中对应的属性类型应该为BigInteger;当数据库中该属性...
Hive中SQL查询结果不符合where条件可能原因
笔记本
07-26 2052
错误1.如果有多层AND和OR，需要注意括号，用AND链接多个括号内（OR）条件 错误2.确认原表字段类型，where条件中原表字段类型为bigint，查询条件写成字符串时，会被转为double进行匹配，此时会丢失精度，使结果错误。 注：该问题可以通过执行计划看出，附经典例图 ...
hvie sum 字符串_hive支持sql大全（7-8：字符串函数、集合统计函数）
weixin_42509847的博客
02-23 788
七、字符串函数1. 字符串长度函数：length 语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length('abcedfg') from lxw_dual; 72. 字符串反转函数：reverse 语法: reverse(string A) 返回值: string 说明：返回字符串A的反转结果 举例： hive&g...
Hive系列 (六)：Hive数据类型转换
热门推荐
Eric Ray的博客
08-25 1万+
hive数据类型转换规则及转换原则，日期类型转换
HIVE数据类型与函数
weixin_73756235的博客
10-21 1641
分桶将整个数据内容按照某列属性值的hash值进行区分，如要安装name属性分为3个桶，就是对name属性值的hash 值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。通常，一个数据仓库系统，数据总有一个源头，而源由一般是别的应用程序产生的，其目录无法确定，为了方便映射，就可以在hive中用外部表映射。x表示从哪个桶(x-1)开始，y代表分几个桶，也可以理解分x为分子，y为分母，及将表分为y份（桶），取第x份（桶）。
Hive执行计划之什么是hiveSQL向量化模式及优化详解
鲁边的博客
06-09 1946
Hive开启向量化模式也是hiveSQL优化方法中的一种，可以提升hive查询速率，也叫hive矢量化。
mybatis配置xml,当传入参数为bigint时if条件里面判断为空多了！=' '的区别
weixin_40648117的博客
06-21 5835
假设一段sql &amp;lt;select id=&quot;getInventoryReportIn&quot; parameterType=&quot;java.util.Map&quot; resultType=&quot;com.alibaba.fastjson.JSONObject&quot;&amp;gt; select * from head i
SQL中字符匹配的几种情况
yushuir的专栏
10-18 3864
查询sql中常用到 like 进行字段和字符之间的匹配1. 查询column_id列中以3-7开头（包含3,7）三四位为‘we’，第五位不包含a-c的数据Select *From table_nameWhere column_id like '[3-7]_we[^a-c]%'[]：匹配一个范围；   _：匹配一个任意字符；  [^]: 不匹配一个范围；  %: 匹配任意个字符  2.如果需要在 l...
为什么sql语句中where后面不能直接跟分组函数与Hive窗口函数详解
m0_46168848的博客
07-30 1029
当我们错误的使用分组函数之后，mysql会报错，提示“ Invalid use of group function”，这就是今天要说的问题：where后面不能直接跟分组函数。这几个函数在使用时一般都和group by联合使用，原理是先分组再进行函数计算。当然我们在平常使用时，有这种情况。这个sql语句中并没有group by，但还是可以使用分组函数max。这是因为当sql语句种没有手动使用group by时，那整个调用的表默认是一个分组。max函数是在这个大分组中取的最大值。
hive int bigint 强类型_Hive 表之间数据处理，Int 类型字段部分字段出现 NULL情况
weixin_39597323的博客
11-22 702
背景 hive 中有一张待处理的分区表，存储的方式是parquet，处理之后的目标表是一张非分区的外部表，并且分隔方式为 “,”。 问题 部分记录的 int 类型字段 出现 null 情况 表结构 原表结构 CREATE EXTERNAL TABLE adm_v1.adm_cms_flow_daily( url string, title string, courseeduid str...
Hive查询
Faded1573606285的博客
09-19 356
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0) SELECT [ALL ...
Hive数据类型
喻师傅的学习笔记
04-23 1162
Hive数据类型
SQL语句学习7——正则表达式
clearLB的博客
03-16 1740
1.1正则表达式介绍 （1）正则表达式是用来匹配文本的特殊字符串（字符集合），所有种类的程序设计语言，文本编辑器，操作系统等都支持正则表达式 （2）正则表达式的作用是匹配文本，将一个模式（正则表达式）与一个文本串进行比较 （3）正则表达式不区分大小写（即大小写都将会被匹配），如果想要区分大小写，可以加关键字BINARY 让我们来看一个例子： 上图语句表示：REGEXP后所跟的东西作为正则表达式，...
hive - 字符串string和bigint类型的坑
a123147abc的博客
06-10 4518
hive 的string与bigint的比较
hive随笔4
big_data_study的博客
08-23 156
1.row_number() //窗口函数–一般用于分组中求TopN 需求：每。。。。。前几名。。。。。 //给每个分组数据打上行号 作用：把每一组的每一行都打上数字，1，2，3…然后取自己要用的行 语法： select * from (select name,data_time,row_number() over(partition by name order cost desc) a...
HIVE sql 查找日期格式为2024-09-16 00:00:00 的A列中最近7天的内容
最新发布
06-18
3. **构建查询**：在`WHERE`子句中使用`to_date(A)`将A列字符串转换为日期类型，并与`date_sub`的结果比较。 4. **注意事项**： - 如果数据量较大，确保A列有分区或索引以优化性能（但Hive不强制索引）。 - 如果需...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值