js中的数字计算精度问题

    看到这篇文章的时候,大家可以F12,在控制台输入以下语句,验证下图中的输出结果。

    为什么会输出这样的结果呢?我们要站在计算机的角度考虑这个问题。

    计算机读的是二进制,所以我们把a,b转换成2进制

    a : 0.0001 1001 1001 1001…(无限循环)

    b : 0.0011 0011 0011 0011…(无限循环)

    双精度浮点数的小数部分最多支持52位,所以

    a+b = 0.0100 1100 1100 1100…(循环到52位小数)

   再转换成十进制,就得到了0.30000000000000004

 

    对于浮点数的四则运算,几乎所有的编程语言都有类似精度误差的问题,在C++/JAVA等语言中,已经封装好了方法来避免这个问题,但在弱类型语言JavaScript中,精度误差的问题就凸显出来了。我们可以参考其他编程语言对精度误差的处理方法,来解决这个问题。

    我们把需要计算的数据乘以10的n次幂,换算成计算机能够精确识别的整数,然后再除以10的n次幂

function floatFormatter(f,n){
    var m = Math.pow(10,n);
    return parseInt(f*m,10)/m;
}

   再来看一下控制台的输出结果

    perfect~

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值