hive数据精度问题

最新推荐文章于 2025-07-04 16:33:06 发布
原创 最新推荐文章于 2025-07-04 16:33:06 发布 · 1.9w 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在Hive查询过程中遇到的数据精度丢失问题及其解决办法。由于线上数据库表的字段被设置为string类型，在进行算术运算时出现了精度丢失的情况。通过使用cast函数将字段类型转换为decimal(38,2)，成功解决了这一问题。

工作用遇到hive查询中sum数据精度丢失问题。

问题描述:公司大数据组把线上数据库表的类型简单粗暴的设置为string类型了，我在hive上做算数运算时精度丢失。

处理方案：使用cast（table.column_name as decimal(38,2)） 将string类型转换成decimal（38,2）为保留两位小数。


另外还使用了下regexp正则。

case when orders.name regexp '\\d+秀点' then '秀点'
else orders.name end



Hive 数据仓库建设方案
AI天才研究院
08-02 1471
随着互联网公司、大型电子商务平台等业务的不断发展，海量的数据产生，对企业经营管理产生了深远的影响。数据仓库（Data Warehouse）作为数据集成、数据分析和报表展示的关键组件，广泛应用于企业各个角落，是实现数据驱动决策的重要工具之一。Hive数据仓库就是基于Hadoop生态圈的一个开源分布式数据仓库系统。Hive可以将结构化的数据存储在HDFS上，并通过SQL查询语言进行分析处理。
Hive的数据倾斜是什么？
chunzhi128的博客
05-30 1447
Hive数据倾斜问题分析与解决方案 数据倾斜在Hive中表现为部分Task处理数据量远大于其他Task，导致性能瓶颈或作业失败。主要原因包括数据源分布不均、SQL设计不合理和配置参数不当。常见表现为Task长时间运行、内存不足或进度停滞。 检测方法包括分析执行计划、统计键值分布和监控作业日志。解决方案分为： SQL优化：使用Map Join、两阶段聚合、拆分倾斜键和优化Count(Distinct)； 参数调优：调整Reducer数量、启用任务重试和合理分区分桶； 架构优化：引入预聚合层、更换计算引擎或增加
Hive损失精度
xiewendong93的专栏
03-22 6960
问题起因:hive中计算丢失精度.decimal默认整数.解决方案:cast (val as DECIMAL(38,10))
Hive 2.3 decimal精度损失问题
zhm1002的博客
11-27 2564
1.准备测试数据 使用如下建表语句，并插入测试数据： CREATETABLEIFNOTEXISTS test_decimal( md5 string, id int, ty int, amount decimal(38, 12) ) stored as orc; insert into table test_decimal values ('9F99855A44BD41FE592B69E0D36BF3E8', 4591, 2, 18859...
hive decimal计算出现null或者精度丢失
cclovezbf的博客
04-02 6432
hive decimal计算出现null或者精度丢失
Hive on Spark 的bigint类型与datedifff返回值精度丢失问题
weixin_42220968的博客
09-15 897
Hive on Spark 的bigint类型与datedifff返回值精度丢失问题
hive 生产问题汇总
KANGBboy的博客
12-27 1828
1、全转decimal相加，不然会被强制转decail，如result2：两个declimal计算不会造成精度丢失， double和decimal计算可能造成精度缺失，hive中double和decimal两个类型计算会返回double，有可能造成精度缺失。而在向量化查询执行中，每次处理包含多行记录的一批数据，每一批数据中的每一列都会被存储为一个向量（一个原始数据类型的数组），这就极大地减少了执行过程中的方法调用、反序列化和不必要的if-else操作，大大减少CPU的使用时间。
datax数据从hive导入mysql数据缺失解决
01-18
在使用 DataX 将数据从 Hive 表导入 MySQL 表的过程中，遇到了数据缺失的问题。具体表现为，在某些特定条件下（如数据块大小超过 256M 时），导入到 MySQL 的数据量少于预期。 #### 现象分析 根据观察发现，当数据...
大数据开发之Hive篇-Hive数据类型及文件格式
xinghaoyan的专栏
07-04 962
除了默认的几种文件格式，用户还可以自定义文件格式通过继承InputFormat和OutputFormat来自定义文件格式创建表时指定InputFormat和OutputFormat，来读叏Hive中的数据。
Hive中SUM结果不对的Bug记录
i000zheng的博客
06-19 4277
SUM之后的结果变小sum一个表的结果，和直接sum子查询返回的结果不一致。检查发现是表使用了bigint字段，sum之后返回的数值是科学计数法，再转回bigint的时候会出错，返回null值。从而漏掉统计部分数据...
修改表字段的精度大小
shen_xiao_wei的专栏
07-08 1293
<br />alter table [table-name] modify [column-name] number(7);
hive 整形(bigint)和decimal类型相加丢精度的问题
时刻学习
06-22 1500
在hive中计算收入出现的一个问题：收入计算公式是若干个数据项相加，total_income = income_a+income_b+income_c+......有的数据项原本就是整形，不带小数点的，表结构里面此项是bigint类型。有的数据项就是带小数点的，设置的decimal(18,2)。当这些数据项相加的时候，总收入却是整形。bigint+decimal(18,2) --->bigint，而且不是把bigint强制转换为decimal后再和其他项相加之后再四舍五入得来的整形。所以这里需要注意的是如果
hive中浮点型数据计算精度丢失
luo981695830的博客
01-25 4444
举例：无限小数保留几位 说明：hive中round函数用于保留小数位，最后一位四舍五入 结果：double类型计算结果精度丢失 原因：round函数返回值是保留几位小数的double类型，虽然是保留几位，但浮点型的长度还在，所以二次计算时就会发生精度丢失 解决办法：将round函数返回值强转成decimal 扩展：hive函数值返回值是浮点型的，发生精度丢失时，可以采取类似办法 测试过程如下： ...
sqoop导入更改后的hive表字段decimal类型精度问题
LZX的博客
01-05 1689
问题描述 原始数据mysql 通过sqoop导入 hdfs lzo压缩 存储， 然后通过load data inpath xxx overwrite xxx写入 hive ods层表。 mysql数据表 hive 外部表 原来字段A 类型为Decimal(18,2) 后来业务需求mysql表改为decimal(18,3) alter table hive对应外部表字段 A decimal(18,3)后再通过上述导数据流程发现数据精度不生效 比如sqoop从mysql导入2021-12-01日期数据至hiv
Double 精度问题总结
yangshen998
08-09 219
使用Java，double 进行运算时，经常出现精度丢失的问题，总是在一个正确的结果左右偏0.0000**1。 特别在实际项目中，通过一个公式校验该值是否大于0，如果大于0我们会做一件事情，小于0我们又处理其他事情。 这样的情况通过double计算出来的结果去和0比较大小，尤其是有小数点的时候，经常会因为精度丢失而导致程序处理流程出错。 所以一般对double类型进行运算时，做好对结果进...
hive修改字段类型报错
qq_38507913的博客
09-10 2149
ALTER TABLE r__wooer_nums_retention_d CHANGE column platformname platformname bigint ; Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.e...
hive参数调整及优化
Small-Apple的博客
07-14 3297
hive参数调整及优化1.hive表查空间及其占用空间大小命令2.数据倾斜调试2.1.自动mapjoin开关参数调整2.2.输入文件合并参数2.3.输出文件合并参数3.hive时间戳不支持13位4.sql中取当前记录的上一条记录或下一条记录：5.分区修复：6.hive时间格式转换：6.1.第一种方法：6.2.第二种方法：7.hive获取当前日期及当前时间戳:8.hive表加字段语法：9.null参与排序时的位置：10.获取hive表的字段名10.1.获取hive表的字段名,并使用逗号分隔，去掉表名脚本：10
hive小tips（各种解析）
weixin_33812433的博客
06-11 190
1.hive查询中sum数据精度丢失问题 公司大数据组把线上数据库表的类型简单粗暴的设置为string类型了，而我们在hive上做算数运算时出现精度丢失现象。 处理方案：使用cast（table.column_name as decimal(38,2)） 将string类型转换成decimal（38,2）为保留两位小数。 2.hive正则表达式regexp_extract 下面这个...
hive double精度不够
最新发布
11-19
当Hive中double精度不够时，可采用以下解决方法： ### 使用DECIMAL数据类型 Hive的DECIMAL数据类型可用于存储具有精确精度的十进制数，能避免double类型带来的精度丢失问题。创建表时，可指定DECIMAL类型及其精度和标度。例如： ```sql CREATE TABLE example_table ( decimal_column DECIMAL(38, 10) ); ``` 上述代码创建了一个名为`example_table`的表，其中`decimal_column`列的数据类型为DECIMAL，精度为38，标度为10。插入数据时，可直接插入精确的十进制值： ```sql INSERT INTO example_table VALUES (9813113054842627.00); ``` ### 使用字符串类型存储精确值 若需要存储非常大的精确数值，可考虑使用字符串类型（如STRING）存储数值的字符串表示形式。这样能避免数值类型带来的精度丢失问题，但在进行数值计算时，需先将字符串转换为合适的数值类型。例如： ```sql CREATE TABLE string_table ( string_column STRING ); INSERT INTO string_table VALUES ('9813113054842627'); ``` 在进行计算时，可使用Hive的内置函数将字符串转换为DECIMAL类型： ```sql SELECT CAST(string_column AS DECIMAL(38, 0)) FROM string_table; ``` ### 调整Java程序处理逻辑 若数据是从Java程序导入到Hive的，可在Java程序中使用`BigDecimal`类处理精确的十进制数，避免使用`double`类型。例如： ```java import java.math.BigDecimal; public class DecimalExample { public static void main(String[] args) { String s1 = "9813113054842627"; BigDecimal bd = new BigDecimal(s1); System.out.println(bd); } } ``` 在将数据导入Hive时，可将`BigDecimal`对象转换为字符串，然后插入到Hive的STRING或DECIMAL类型列中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值