Delphi 中关于Double类型精度以及使用Ceil和Trunc取整引发的问题

Delphi中Double精度及取整函数问题
在Delphi编程时,一个预期为1200的Double变量因存储精度问题变为1199。这源于浮点数在内存中的存储格式。进行简化实验后发现,当double存在精度损失时,使用Ceil和Trunc进行浮点数取整可能不按预期工作,需要注意此类情况。

在最近的工作中,遇到一个BUG,本应是1200的一个变量,结果却变成了1199,找了一会,发现是由于Double的存储引起的。

问题简化如下:

var
  d: Double;
begin
  try
    d := 1.2;
    Writeln(Trunc(d * 1000));
    Readln;
  except
    on E: Exception do
      Writeln(E.ClassName, ': ', E.Message);
  end;
end.

 运行结果如下:

结果并不是意料中的1200,而是1199。

这是由于浮点数在内存中的存储格式引发的问题,具体的可以点击看这篇文章

 由此,发散思维,做了几组对比实验。代码如下:

var
  dTest: Double;
begin
  //实验1
  dTest := 1.2;
  Writeln('当dTest赋值为1.2,你以为的dTest: 1.2,');
  Writeln('实际内存中存的dTest: ' + Format('%.18f', [dTest]));
  Write('你以为Ceil(dTest * 1000) = 1201,但是Ceil(dTest * 1000) = ');
  Writeln(Ceil(dTest * 1000));
  Write('Trunc(dTest * 1000): ');
  Writeln(Trunc(dTest * 1000));
  Writeln('FloatToStr(dTest * 1000): ' + FloatToStr(dTest * 1000));

  Writeln('');

  //实验2
  dTest := 1.199999999999999960;
  Writeln('当dTest赋值为1.199999999999999960,你以为的dTest: 1.199999999999999960');
  Writeln('实际内存中存的dTest: ' + Format('%.18f', [dTest]));
  Write('你以为Ceil(dTest * 1000) = 1200,但是Ceil(dTest * 1000) = ');
  Writeln(Ceil(dTest * 1000));
  Write('Trunc(dTest * 1000): ');
  Writeln(Trunc(dTest * 1000));
  Writeln('FloatToStr(dTest * 1000): ' + FloatToStr(dTest * 1000));

  Writeln('');

  //实验3
  dTest := 1.19999999999999990;
  Writeln('当dTest赋值为1.19999999999999990,你以为的dTest: 1.19999999999999990');
  Writeln('实际内存中存的n: ' + Format('%.18f', [dTest]));
  Write('你以为Ceil(dTest * 1000) = 1200,但是Ceil(dTest * 1000) = ');
  Writeln(Ceil(dTest * 1000));
  Write('Trunc(dTest * 1000): ');
  Writeln(Trunc(dTest * 1000));
  Writeln('FloatToStr(dTest * 1000): ' + FloatToStr(dTest * 1000));

  Writeln('');

  //实验4
  dTest := 1.199;
  Writeln('当dTest赋值为1.199,你以为的dTest: 1.199');
  Writeln('实际内存中存的n: ' + Format('%.18f', [dTest]));
  Write('你以为Ceil(dTest * 1000) = 1200,但是Ceil(dTest * 1000) = ');
  Writeln(Ceil(dTest * 1000));
  Write('Trunc(dTest * 1000): ');
  Writeln(Trunc(dTest * 1000));
  Writeln('FloatToStr(dTest * 1000): ' + FloatToStr(dTest * 1000));

  Writeln('');

  //实验5
  dTest := 0.2;
  Writeln('当dTest赋值为0.2,你以为的dTest: 0.2');
  Writeln('实际内存中存的dTest: ' + Format('%.18f', [dTest]));
  Write('你以为Ceil(dTest * 1000) = 200,但是Ceil(dTest * 1000) = ');
  Writeln(Ceil(dTest * 1000));
  Write('Trunc(dTest * 1000): ');
  Writeln(Trunc(dTest * 1000));
  Writeln('FloatToStr(dTest * 1000): ' + FloatToStr(dTest * 1000));

  Writeln('');

  //实验6
  dTest := 11.2;
  Writeln('当dTest赋值为11.2,你以为的dTest: 11.2');
  Writeln('实际内存中存的dTest: ' + Format('%.18f', [dTest]));
  Write('你以为Ceil(dTest * 1000) = 11200,但是Ceil(dTest * 1000) = ');
  Writeln(Ceil(dTest * 1000));
  Write('Trunc(dTest * 1000): ');
  Writeln(Trunc(dTest * 1000));
  Writeln('FloatToStr(dTest * 1000): ' + FloatToStr(dTest * 1000));

  Writeln('');

  //实验7
  dTest := 111.2;
  Writeln('当dTest赋值为1111.2,你以为的dTest: 1111.2');
  Writeln('实际内存中存的dTest: ' + Format('%.18f', [dTest]));
  Write('你以为Ceil(dTest * 1000) = 1111200,但是Ceil(dTest * 1000) = ');
  Writeln(Ceil(dTest * 1000));
  Write('Trunc(dTest * 1000): ');
  Writeln(Trunc(dTest * 1000));
  Writeln('FloatToStr(dTest * 1000): ' + FloatToStr(dTest * 1000));

  Readln;
end.

结果如下:

在Delphi中使用Ceil和Trunc对浮点数取整结果可能会出乎你的意料。当double存储时没有精度问题时,使用Ceil和Trunc函数没有问题,当有精度丢失时,使用Ceil和Trunc需要注意。

 

在数据处理报表生成时,我们经常会遇到需要转换数据类型以及处理时间戳的情况。为了帮助你解决这类问题,推荐参考这份资料:《Cognos中文函数详解:常用功能与示例》。这份资源中包含了对castceil函数的详细讲解应用示例,它们是Cognos中处理数据类型转换时间戳的关键工具。 参考资源链接:[Cognos中文函数详解:常用功能与示例](https://wenku.youkuaiyun.com/doc/3yc5qk1vdg?spm=1055.2569.3001.10343) 首先,我们来看如何使用cast函数进行数据类型转换。cast函数可以将数据从一种类型转换为另一种类型。例如,如果你有一个时间戳格式的数据需要转换为日期格式,可以使用cast函数如下:`cast(timeStampVar as date)`。这里`timeStampVar`是含有时间戳的变量,转换后会保留日期部分,忽略时间部分。 接下来,关于ceil函数的使用,它主要用于处理数字,将其向上取整到最接近的整数。当你有一个时间戳表示的小数时,可以结合cast函数使用ceil函数进行处理。例如,要将时间戳转换为天数,并向上取整,可以使用如下表达式:`ceil(cast(timeStampVar as integer) / 86400)`。这里假设时间戳变量`timeStampVar`是以秒为单位的,86400则是秒天的换算数(一天有86400秒),这样就能得到一个以天为单位的整数值。 掌握castceil函数的使用,对于进行精确的数据处理分析至关重要。这不仅可以帮助你在商业智能报表环境中更高效地工作,还可以在生成复杂数据报告时,避免出现格式错误或数据不准确的情况。建议在熟练掌握这两个函数的基础上,继续阅读《Cognos中文函数详解:常用功能与示例》中的其他章节,以全面了解Cognos的函数库,进一步提升你在数据分析商业智能领域的专业技能。 参考资源链接:[Cognos中文函数详解:常用功能与示例](https://wenku.youkuaiyun.com/doc/3yc5qk1vdg?spm=1055.2569.3001.10343)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值