SUM()求和时的精度问题,跟数据表字段定义有关

最新推荐文章于 2024-07-24 14:22:51 发布
最新推荐文章于 2024-07-24 14:22:51 发布 · 243 阅读 · 0
文章标签：

#数据库 #php #大数据

本文探讨了使用SUM()函数进行求和操作时遇到的精度问题。具体表现为查询结果出现意料之外的小数位数，即使数据表字段定义的精度较小。通过对数据表字段定义的检查发现，TotalPrice字段为单精度浮点数，理论上应限制在两位小数，但实际查询结果却显示了更多的小数位。

SUM()求和时的精度问题,跟数据表字段定义有关

sum以最精确的 expression 数据类型返回所有表达式值的和
返回结果:
money 精确到货币单位的千分之十
float(n) n在1-14,精度7位，25-53，精度15位
decimal 精度38位
int 精度为整数位数

<%=conn.execute("Select SUM(TotalPrice) as List1 from OrderList where TranslateStatus=1")("List1")%>

语句查询的结果居然会返回很长的数字(5700.25001144409)11位小数

查找数据表中对应的 TOTALPRICE字段定义.单精度.精确到2位小数.

总的数据没有很大的差异.

iteye_14539
关注
sqlserver Sum求和float类型 数据不准问题
yueyue__的博客
10-15 1490
转换类型为decimal： SUM(cast(VideotapeLong as decimal(18,1)))
SQL保留两位小数用法
weixin_33798152的博客
08-09 1479
sql server中除法，会遇到除数为0的情况，且保留两位小数，写法如下： select case when num=0 then 0 else convert(decimal(18,2),210.343/num) end    as 结果 from tabNumber select [Carrier] as '承运人分组',count(*) as '张数','0' as '出票效率',sum(...
mysql sum精度问题
tyc_054600的博客
05-29 5196
mysql sum java 精度
mysql union all sum_SQL Server UNION ALL 结果 SUM函数造成精度丢失
weixin_39613188的博客
02-03 874
使用场景：在进行多维度汇总数据时，需要将不同数据类型，不同数据精度的数据合并成一张表时，相关计算出现精度丢失问题。问题排查：在进行分段排查后，找到丢失原因，SUM函数造成精度丢失场景在现：1. 创建表CREATE TABLE A_TEST(ID_CODE NVARCHAR(10),VAR1 DECIMAL(17,0) -- DECIMAL(17,0) 做为数量使用 小数位为0，※1 问题)CRE...
mysql中SUM时数据类型不一致导致的数据精度问题
12-30 1559
执行mysql语句时包含sum求和操作，且sum()里面进行了if判断，if的结果可能是字段值或者为'0'，也就是后面这个'0'导致了数据精度问题，'0'被认为是字符串0，跟字段类型不一致导致计算求和时出现精度问题。 ...
oracle的sum函数精度问题_Excel中的这些烧脑问题，你遇到过几种？
weixin_28869649的博客
01-29 1505
小伙伴们好啊，前几天分享的中级篇介绍了几种容易造成公式错误的情况。今天和大家来分享高级篇，高级篇嘛，当然是以烧脑为主，介绍一些在论坛和QQ群困扰了很多人的公式错误原因。1，EDATE和EOMONTH到底能不能返回数组？有些时候需要引用数据源返回相关的数组结果，但很多小盆友引用了区域后发现EOMONTH这些函数结果是报错的。因此得出一个结论，这批函数在引用区域后是不能返回数组的。但是，这只是因为这批...
mysql sum 统计数值出现精度问题
z1340954953
06-23 1万+
mysql sum 累计求和精度问题
mysql金额汇总sum()出现精度丢失
weixin_45502734的博客
10-29 9467
例如0.01+0.01+0.01=0.03，结果sum后变为了0.029999994 这是因为mysql做数据存取时，数据库引擎对浮点数的精度扩展 和截断处理策略不一致，导致数据精度不一致会发生丢失 因为decimal类型是可以确定精度，所以需要使用cast转换格式为decimal 处理样例如下： 原: selectsum(totalmoney) as amt ...... 改后：select sum(cast(totalmoney as decimal(18,2)))as amt...
python 求和 精度问题_解决Numpy中sum函数求和结果维度的问题
weixin_39578513的博客
12-05 881
使用Numpy(下面简称np)中的sum函数对某一维度求和时，由于该维度会在求和后变成一个数，所以所得结果的这一维度为空。比如下面的例子：a = np.array([[1,2,3],[4,5,6]])b = np.sum(a,axis=1)print(b.shape)# (2,)所以，对于一个shape为(2,3)的数组，在默认情况下使用np.sum函数求和后得到的结果shape是 (2,)，如果...
SUM(IF())函数损失精度问题
weixin_44355908的博客
09-21 625
主要原因是数据类型转换产生的错误: SUM(IF(a=2, a, ‘0’)) SQL执行之后应等于0, 实际结果多出30多位小数位, 检查之后发现是, else条件设置的字符类型的’0’, 而我数据库中的a值为int类型
android sqlite函数,Android上SQLite的性能优化问题
weixin_39522408的博客
05-25 235
原标题：Android上SQLite的性能优化问题 1.利用android提高的的insert，query，update，deleteAPI与execSql，rawQuery函数执行原生的插入，查询，更新，删除语句操作花费时间的对比结果在相同的环境(adnroid4.0)和相同的机器下执行相同的动作，记录条数也一样的情况下的对比，多次验证的如下：(1)如果批量执行的记录数在1000条，则Andro...
python 求和 精度问题_python – pandas中的.sum()方法会产生不一致的结果
weixin_39692761的博客
12-15 1681
我有一个大型DataFrame(大约4e 07行).在对它进行求和时,无论是在列选择之前还是之后,我得到2个显着不同的结果.此外,类型从float32更改为float64,即使总计都低于2 ** 31df[[col1, col2, col3]].sum()Out[1]:col1 9.36e+07col2 1.39e+09col3 6.37e+08dt...
Mongodb 使用$group $sum 分组统计不准确
ren7wei的博客
01-19 600
如题，发现一个集合在创建了唯一索引后发现使用$group统计不准确，具体影响的底层原因还没有确认，先做一个记录。在做统计的时候发现统计结果和预期结果不一致的时候，可以直接查询详细数据，确认是否数据确实有问题。
sqlserver sum（）后再除以10000后丢精度
最新发布
weixin_42141668的博客
07-24 505
从上面可以看出，ysl1和ysl1_1、ysl2和ysl2_1的整数部分是一样的，有区别的是小数位（转成万m³后要保留4位小数），第一种方法的差别比较大，第二种换算后就一样了。①cast(sum(isnull(ysl_sy_dx,0)) as decimal(18,6))，sum()之后县转换成decimal。②/10000改成/10000.0。
mysql 使用sum()小数点后出现很多位
热门推荐
这不是我的博客
12-10 1万+
数据库字段使用float类型，使用sum函数相加后出现后多小数位，原因是浮点数的不准确本质，它们无法以准确值保存在计算机体系结构中 方法一：最好的办法是将float字段改为decimal。具体方法：可设置一个临时字段，结合MySQL的关键字binary进行准确复制等。 方法二：使用binary关键字解决。具体操作为“select sum(binary 字段名(float类型))” 方法三：C...
SQLite 函数大全
yohohohoho的专栏
09-07 1975
http://laolang.xtmm.cn/tb.php?sc=6e7430&id=14472 abs(X) 返回参数X的绝对值。  coalesce(X,Y,...) 返回第一个非空参数的副本。若所有的参数均为NULL，返回NULL。至少2个参数。
mysql使用SUM求和精度丢失
AlaiaCodeingLife
06-30 5446
sum(cast(totalmoney as decimal(18,6))) 使用cast转换格式为decimal
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值