【VBA研究】浮点数计算总是有误差的

本文探讨了计算机中浮点数由于二进制存储导致的近似表示问题,通过VBA程序展示了浮点数计算的累积误差现象。作者建议在需要精确计算和比较的场景下避免使用浮点数,可以先转换为整数处理,再还原为浮点数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

作者:iamlaosong

数字有两种表达方式,一种是整数,一种是浮点数。浮点数是属于有理数中某特定子集的数的数字表示,在计算机中用以近似表示任意某个实数。具体的说,这个实数由一个整数或定点数(即尾数)乘以某个基数(计算机中通常是2)的整数次幂得到,这种表示方法类似于基数为10的科学计数法。

计算机中存储浮点数的方式决定了浮点数往往是个近似值,因为日常生活中我们用的是十进制,而计算机用的是二进制,二进制很难精确的表达十进制的小数,这里不想讨论计算机是如何存储浮点数的,那会是很长的一篇枯燥文字,这里仅以实验来验证,请看下面程序:

Sub tt1()
    For i = 0 To 1000 Step 0.1
        Debug.Print i
    Next
End Sub

运行上面你会发现,前面可以正确显示的数值,只有一位小数,加到6以后, 小数点后就暴增到了十几位,结果如下:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值