2个相等的double值相减等于-9.1

文章讨论了在处理double类型数值时遇到的精度问题,特别是涉及到舍入和科学计数法。作者指出,double类型的计算可能存在微小误差,并提出了解决方案,即人为设定精度,通过Format方法来避免科学计数法,以确保正确保留小数位数。示例代码展示了如何进行七位小数的保留和转换。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

        这样,我自己写了一个round函数,对    double(2140)-double(2140)=-9.09494701772928E-13  的科学计数法 结果进行保留2位小数舍入。

        但是舍入函数忽略了后面的差值的 -13次方,也就是说实际上小数点后面前13位都是0,用的是科学计数法表示,所以直接截取结果位-9.10

这个坑真的很深

        首先double的数,看到的跟事实是两回事,例如2140 实际上可能是2140.00000000000033 或者2140.00000000000088

解决方案就是人为设定精度,某个数的绝对值在多少范围内,就认为它是0

对于本案例,就避免科学计数法,我们采用Format方式避免:
采用保留7位小数的double值
oldRound(strtofloat(Format('%.7f', [MainForm.ADO_Temp.FieldByName('含税金额').AsFloat - MainForm.ADO_Temp.FieldByName('不含税金额').AsFloat])), 2);

var
   lStr: String;
begin
  lStr := '0.0000000';
  lStr := FloatToStr(StrToFloat(lStr));  //输出:字符串为0

end;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

softdzz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值