ruby浮点数计算精度不准确问题

最新推荐文章于 2019-11-29 10:31:13 发布
最新推荐文章于 2019-11-29 10:31:13 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_29184489/article/details/79744880
本文介绍如何使用 BigDecimal 类解决程序中浮点数运算产生的精度问题。针对常见的计算误差，例如 9.999 乘以 100 得到不精确的结果，通过将数字类型转换为 BigDecimal 并进行运算，可以有效提高计算的准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

对于程序计算精度问题：我们往往会遇到  计算 9.999*100 得到999.9000000000001的这种结果。

（原因不多说，请大家自行学习了）

那么问题的解决，需要转换数字的类型为decimal，本例中可以：

BigDecimal("9.999") * 100得到正确的结果，此时还是BigDecimal对象，（BigDecimal("9.999") * 100）.to_f 可转成 float


注：若BigDecimal类不存在，通过 require 'bigdecimal' 载入
banana_boy
关注
一篇文章带您了解如何高效解决JavaScript计算精度出现误差的问题
Yu的博客
04-07 3310
如何高效解决JavaScript计算精度出现误差的问题
Ruby取精度
horace_lee的专栏
06-12 152
取精度，我们用了 [code="ruby"]eval(sprintf("%.3f",flaot_params))[/code] 实际情况 [code="ruby"]require 'benchmark' times = 1000000 float = 9.234234765765765764 Benchmark.bm do |r| r.report('SPf :') {...
ruby编程中精度问题的总结
04-20 165
最近半年一直在开发一个跟金融相关的互联网应用，金融的计算要求严谨，数字相差一分钱也会给用户产生不够专业不值得信任的感觉。结合ruby编程语言，谈一下计算的精度问题。[quote]精确计算的前提，是区分数值是中间量还是输入输出量，输出量做为一个给用户看到的量，是有效力的，在四舍五入后得到量，只要是会被用户看到了解到的，在后面的计算中就应该做为一个精确量。[/quote] 举例：A有1.01元，...
Ruby中的浮点数排序
weixin_34015336的博客
06-12 97
2019独角兽企业重金招聘Python工程师标准>>> ...
计算误差
aliciaid的博客
08-09 1236
平方误差 (MSE) # TODO 实现以下函数并输出所选直线的MSE def calculateMSE(X,Y,m,b): in_bracket = [] for i in range(len(X)): num = Y[i] - m*X[i] - b num = pow(num,2) in_bracket.append(num)...
关于Ruby中的浮点计算近似值的问题
湛蓝的天空
04-01 405
在Ruby中的浮点运算使用的是二进制的计算方式(为了更高效的使用硬件)，所以像1/10,1/100,1/1000，0.1等都是近似表示。 如果你判断 [color=blue][b]0.4-0.3 == 0.1[/b][/color] # 返回false。 为了避免此问题，在浮点运算结果做boolea判断的时候要先进行[color=red]round(取有效数字)[/color]，然后...
探索Ruby中的浮点数学不准确性
虽然Ruby提供了许多内置函数来处理数学运算，但是当涉及到精确的数值计算时，开发者应当谨慎使用浮点数，并考虑使用其他方法来确保数值的准确性，例如使用高精度的数学库或者避免在需要极高精度的情况下使用浮点数。...
Ruby开源库APFP：高精度数值计算与测试程序
综上所述，APFP-开源项目为Ruby社区提供了一个强大的工具，它能够支持高精度的浮点数和复数计算，并且具有良好的错误跟踪机制。该项目通过重载运算符提供了易用性，并且附带了测试程序来保证代码质量。此外，其开源...
Ruby实现RIoV输注值计算工具的开源项目
Ruby默认的数值类型是浮点数，虽然足以应对大多数计算，但在某些情况下可能需要更高的精度。Ruby提供了BigDecimal类来处理非常精确的浮点数运算，这对于医疗领域的计算是必不可少的。 7. 程序的测试和验证 编写程序...
浮点数舍入误差大揭秘：IEEE 754标准下的精确计算技巧
浮点数计算在科学计算和工程领域具有重要地位，但其固有的舍入误差可能导致精度损失和计算结果的不稳定性。本文对浮点数舍入误差进行了系统性的概述，并深入分析了IEEE 754标准的历史、应用和核心内容。同时，本文...
【转】浮点数之间的比较
weixin_30387663的博客
03-25 125
比较浮点数的时候要用诸如a－b<="一个一定精度的小数"，不能直接用a==b 最关键是浮点数实际上是二进制的"科学计数法", 每个十进制的数化成二进制小数时, 与我们想像的可能差别比较大. 一个十进制不循环的小数, 可能在二进制中实际是循环小数, 只能用近似值来表示. 所以二进制比较相等时要小心. 另外, 比如, 我们在日常计算时, 把10000个0.1加起来是1000, 而在用浮点数计算...
第六章：ruby中的整数、浮点数、字符串之间的相互转换
baiyongliang
11-29 609
浮点数转换成整数，会强行去掉小数点后面的数字 #!/usr/bin/ruby # -*- coding: UTF-8 -*- num = 123.23 num1 = num.to_i puts "浮点数转换成整数，会强行去掉小数点后面的数字" puts "转换前：#{num}" puts "转换后：#{num1}" 整数转换成浮点数，会添加小数点和0 #!/usr/bin/ruby ...
ruby-to_i和to_f进行数字转换
fd2015的博客
09-09 2516
调用to_s、to_i 、to_f这样的方法时，返回的结果是一个新对象，不是将对象作为一个字符串或者整型使用，而是请求一个对象提供符合这些格式中的其中一个可以预期的新对象。 >>"123abc".to_i =>123 ruby提供了名为Integer和Float 的方法，是的，它们看起来像是常量，但是它们确实是方法，只是名称与它们将要转换为的类一致）。这...
rails里计算50/3得出的结果为什么不对？
eastviking的专栏
03-22 87
number_with_precision(50/3,5) 16.00000 number_with_precision(50.0/3,5) 16.66667 要加上一位小数才能得出正确的值，什么原因？
Ruby数据类型
Michael_J's Zone
06-04 1453
转自[foreverphoenix的专栏] 数字 1、Ruby支持整数和浮点数。整数可以使任何长度。一定范围内的整数是Fixnum类的对象。范围之外的整数存储在Bignum类的对象中。这种处理是透明的。 2、可以在一个ASCII字符前加一个问号来获得其对应的整数值。Ctrl组合键可以由?/C-x或?/cx(x&0x9f)来产生。Meta字符（x|0x80）可以由?/M-x来产生。
decimal这个数据类型的用法
热门推荐
ahjxhy2010的博客
10-31 5万+
笔者在网上搜了好久，解释都晦涩难懂。最后通过亲手实践加课本知识得出结论如下：  decimal(M,N)  M表示:不包括小数点，不包括符号位，所能存数字的总位数（包括小数部分和整数部分）  N表示：小数部分数字的位数，由此可知整数部分的位数为M-N; 举个例子，  decimal(4,2) 能够表示的数的范围 -99.99到99.99;  decimal(4,1)能表示的范围，还要写吗？如果对...
浮点数的运算精度丢失
烟草的香味的博客
10-27 300
引出 打开Python编译器，输入 0.1+0.2， 期待的结果是0.3，但是输出为： 0.30000000000000004 有点小尴尬，这是为什么呢？ 解惑 其实这设计到了计算机的浮点数存储是以二进制进行存储的。 说二进制不太形象，换成我们最长使用的十进制和分数 1/5，使用小数表示为0.2，但是1/3，使用小数表示就是一个无限循环小数：0.3333333， 也就是说，分数的 1/3+1/...
ruby不同数据类型之间的相互转换
我的祖传代码
02-13 3526
ruby的整数、浮点数、字符串的类均提供了to_i,to_f,to_s三个方法 浮点数转换成整数，只保留整数部分 irb(main):138:0&gt; 3.5.8.to_i =&gt; 3 整数转换成浮点数，会添加小数点和0 irb(main):147:0&gt; 3.to_f =&gt; 3.0 整数转换成字符串，会加上双引号 irb(main):151:0&gt; 3.to...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值