Hive中SUM结果不对的Bug记录

最新推荐文章于 2023-11-30 10:05:54 发布
最新推荐文章于 2023-11-30 10:05:54 发布
阅读量4.2k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Hive 文章标签： Hive Sum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/i000zheng/article/details/80733413
本文探讨了在使用bigint类型字段时，进行SUM操作可能导致的数据丢失问题。具体表现为SUM后的结果出现科学计数法，转回bigint时出错，最终导致统计结果不完整。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SUM之后的结果变小

sum一个表的结果，和直接sum子查询返回的结果不一致。

检查发现是表使用了bigint字段，sum之后返回的数值是科学计数法，再转回bigint的时候会出错，返回null值。从而漏掉统计部分数据

sum()窗口函数的累加求和出错细节
qq_43382735的博客
08-03 3439
关于SQL窗口函数中sum 累计求和的错误细节出错案例：按行累加(rows)和按值累加(range)注意：总结： 出错案例： 近期在学习SQL的窗口函数的时候，用sum对成绩进行累计求和出现错误，具体如下： 从图中可以看出按照合计成绩进行排序后进行成绩的累加，但是相同的成绩并没有实现行的累加。为什么会出现这样的错误呢？请继续看 按行累加(rows)和按值累加(range) 按行累加：每一行都产生一个累计结果 这里显示声明行的范围：rows BETWEEN unbounded preceding and
Hive学习笔记（更新中）
TheEvil7的博客
11-27 580
Hive学习 1、Hive数据类型 1.1、基本数据类型 数据类型 所占字节 开始支持版本及描述 TINYINT 1字节（8位）有符号整数 1 SMALLINT 2字节（16位）有符号整数 1 INT 4字节（32位）有符号整数 1 BIGINT 8字节（64位）有符号整数 １ FLOAT 4字节（32位）单精度浮点数 1 DOUBLE 8字节（64位）双精度浮点数 1 BOOLEAN true/false TRUE STRING 字符串 ‘xia’，“xia”
【hive 面试题】聚合操作时null和‘‘对结果的影响
向热爱自己一样，热爱这个世界。
11-01 491
【hive 面试题】聚合操作时null和''对结果的影响
同一条语句hive和impala查询结果不一致
weixin_38255444的博客
09-18 2844
今天跑py程序，第一次数据错乱，字段对应不上： 分析原因： 测试单独执行，测试单独上传文件，测试hdfs客户端上传文件 最后发现，多次写入错误数据，导致该表的元数据出现混乱，即使是hive的内部表，drop掉表后，重新上传文件到hive的相同表名，使用hive查询没问题，一旦使用impala查询依旧有莫条数据出现字段不对应情况，原因大概是元数据刷新问题，hive在将内部表删除后，impala虽然和hive数共享元数据的，但是impala读取到重新上传的数据时，依旧是上一次的错误元数据，导致文件的offset
Hive学习之路 （十九）Hive的数据倾斜
weixin_33923762的博客
04-15 633
1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、Hadoop 框架的特性 　　A、不怕数据大，怕数据倾斜 　　B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多 　　C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题 3、主要表现 任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少...
hive数据精度问题
super的博客
03-22 1万+
工作用遇到hive查询中sum数据精度丢失问题。问题描述:公司大数据组把线上数据库表的类型简单粗暴的设置为string类型了，我在hive上做算数运算时精度丢失。处理方案：使用cast（table.column_name as decimal(38,2)） 将string类型转换成decimal（38,2）为保留两位小数。另外还使用了下regexp正则。case when orders.name ...
Hive指标统计篇
Monstar_L的博客
06-15 1293
大数据指标计算，通过Hive实现
Hive知识
weixin_56345512的博客
11-30 1009
Hive Hive架构 执行流程 Hive的工作原理
大数据-Hive相关知识点介绍
ziania_cumt的博客
04-16 503
Hive相关知识点介绍
Hive高级用法01-hive调优
小梁
07-24 1971
文章目录1. 查看执行计划    1.1 执行计划有什么用:    1.2 怎么查询执行计划    1.3 简单示例2.建表优化      2.1 建分区表         2.1.1 什么是分区表   &nbs
SUM(A)+SUM(B)和SUM(A+B)结果不同？
初阳
12-14 3052
null值在聚合函数中的处理和影响
关于hive当中的double的数据类型
u011250186的博客
08-05 4330
最近发现通过sqoop将oracle数据库当中的数据到如到hive当中，发现oracle数据库当中number类型的数据变成了hive当中的double类型。不只是变成了double类型，数据好像稍微有点变化。 比如原来的：3769.14 变成了3769.1399999999999 ，还有就是1737.66 变成了1737.6600000000001 貌似有点数据变小了，有的数据变大了 这个是什么原因那， 产生如上结果原因为： a) 对于所有使用IEEE标准进行浮点编码系统中，都普遍存在如下问...
从datax增量同步数据后，执行hive count统计与实际数据不一致
qq_42396440的博客
05-18 937
执行hive count统计与实际数据不一致
hive字段关联类型不一致时，两边都会转换成double类型
hellojoy的博客
08-13 2047
--hive字段关联类型不一致时，两边都会转换成double类型 explain select a.*,b.* from ( select cast(186994576061124660 as bigint) col ) a left join (select '186994576061124672' as col ) b on a.col=b.col ; 186994576061124660 186994576061124672 Reduce Operator Tree: Jo..
hive 不以科学计数法输出
热门推荐
大数据训练营
03-30 2万+
1.原始的sql: sum(online_time) num 输出: 小R 2.6014523E7 中R 3881104 大R 356963 2.转换后的sql: cast(sum(online_time) as bigint) num 输出: 小R 26014523 中R 3881104 大R 356963
Hive科学技术法转换
xiaoleilei666的博客
12-01 4157
一、需求描述 今日下午在对hive库表进行数值统计，发生一件很有意思的一件事，统计求和的结果出现科学技术法。 出现的原因待核查，因为主要是我的字段设置是字符串类型string。所以有点费解其实… 二、解决方案 我这边主要利用的是Hive函数中regexp_extract、regexp_replace以及rpad三个组合完成本次的科学技术法转换操作。 函数语法介绍 ·函数名称：正则表达式解析函数 ·语法1：regexp_extract(string subject, string pattern, in
【hive】关于浮点数比较的问题
weixin_30411819的博客
10-12 663
当在hive中写下浮点数(例如:0.2) hive会把浮点数(0.2)存储为double类型 但是系统中并不能精准表示0.2这个浮点数 正确的浮点数表示 float 0.2 —> 0.2000000 double 0.2 —> 0.200000000000 但是系统中表示为 float 0.2 —> 0.2000001 double 0.2 —> 0.2...
HIVE优化
LH0912666的博客
06-12 399
一，join优化 join查找操作的基本原则：应该将条目少的表/子查询放在join操作符的左边。原因是在join操作的reduce阶段，位于jion操作符左边表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个m...
hive sql输出结果不对
最新发布
07-02
在Hive SQL查询中，如果输出结果不符合预期，可以从以下几个方面进行系统性排查： ### 1. 查询逻辑问题 - **子查询重复计算**：嵌套的子查询可能导致多次扫描相同数据，影响性能和结果准确性。建议使用 `WITH AS`（CTE）将重复使用的子查询提取为临时表，避免重复计算[^1]。 - **JOIN条件错误**：检查JOIN语句中的字段是否匹配正确，尤其是字段类型是否一致。例如字符串与整数直接比较可能不会报错但返回错误结果。 - **GROUP BY聚合逻辑**：确保分组字段与SELECT中的非聚合字段一致，否则可能产生不可预知的结果。 - **NULL值处理不当**：某些函数或操作在遇到NULL时会返回NULL，如 KeyValue 函数的参数为空可能导致整个表达式无效，建议提前对输入做有效性判断[^3]。 ### 2. 数据源问题 - **数据完整性验证**：确认源表是否存在缺失、空值或异常数据。例如使用如下SQL检查是否存在NULL值： ```sql SELECT COUNT(*) FROM your_table WHERE some_column IS NULL; ``` - **分区数据加载问题**：若使用了分区表，检查是否所有需要的数据分区都已正确加载。 - **文件格式与编码问题**：如文本文件中存在非法字符、字段分隔符不一致等，可能导致部分字段解析失败。 ### 3. Hive配置与版本问题 - **Hive版本兼容性**：不同版本的Hive在SQL语法、函数支持、执行引擎（如Tez/MapReduce）行为上可能存在差异。例如旧版本可能不支持某些窗口函数。 - **Hive-site.xml配置项**： - `hive.mapred.mode` 设置为 strict 模式下不允许全表扫描。 - `hive.exec.dynamic.partition.mode` 是否设置为 nonstrict，允许动态分区插入。 - `hive.optimize.ppd` 和 `hive.optimize.ppd.storage` 控制谓词下推优化是否开启。 ### 4. 执行环境与资源问题 - **执行引擎问题**：确认当前使用的是 MapReduce 还是 Tez，某些情况下执行引擎的不同会导致结果不一致。 - **资源不足导致任务失败或降级执行**：查看YARN日志是否有内存溢出（OOM）或任务被杀的情况。 - **临时目录权限问题**：Hive执行过程中依赖HDFS临时目录，需确保用户有写入权限。 ### 5. 日志与调试信息 - **查看Hive执行日志**：通过Hive CLI或Beeline获取详细的执行计划（EXPLAIN），分析实际执行路径是否符合预期。 - **检查MapReduce/Tez任务日志**：从YARN界面或命令行获取具体任务日志，查找是否有运行时异常或警告信息。 ### 6. 脚本调用与变量传递问题（Shell脚本场景） - 如引用中所示，在Shell脚本中调用Hive并赋值给变量时，需注意Hive返回值是否为NULL，并做相应处理： ```bash maxid=`hive -e "select max(id) from USR_LOGIN_D"` if [ x"$maxid" = xNULL ]; then echo "maxid is NULL, reset to 0" maxid=0 fi ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值