sql 小数精度问题

本文探讨了在SQL中处理浮点数运算精度问题的方法,通过对比不同数据类型和精度设置,展示了如何确保复杂计算的准确性,避免因默认精度限制导致的结果误差。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


    DECLARE @net_qty DECIMAL(18,10)
    DECLARE @rate DECIMAL(18,10)
    SET @net_qty=3
    SET @rate=95
    SELECT  CAST( @net_qty/(1-@rate*0.001) AS DECIMAL(18,10))

    SELECT 3/(1-95*0.001) 

修改后sql 


    DECLARE @net_qty FLOAT(38)
    DECLARE @rate FLOAT(38)
    SET @net_qty=3
    SET @rate=95
    SELECT  CAST( @net_qty/(1-@rate*0.001) AS FLOAT(38))

    SELECT CAST( 3/(CAST(1 AS FLOAT(38))-95*0.001) AS FLOAT(38))

总结:

以上两个例子说明, 3/(1-95*0.001)  这个计算后由于精度不确定sql默认保留8位小数。再加上cast(1 as float(38))后, 精度识别位38位。算出来就和上面一个计算结果相同了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值