sql使用float字段存储不精确的替代方法及原因

浮点数精度问题解析
部署运行你感兴趣的模型镜像

存储金额为了偷懒使用了float这个字段类型。结果发现部分小数类型输出不准确。一脸懵逼

然后使用了decimal这个字段类型解决。

产生的原因应该是十进制转换二进制存储产生的。

对十进制小数乘2得到的整数部分和小数部分,整数部分既是相应的二进制数码,再用2乘小数部分(之前乘后得到新的小数部分),又得到整数和小数部分.
如此不断重复,直到小数部分为0或达到精度要求为止.第一次所得到为最高位,最后一次得到为最低位


如:0.7 整数部分为0,然后计算
0.7*2=1.4  取整1
0.4*2=0.8  取整0
0.8*2=1.6  取整1
0.6*2=1.2  取整1
0.2*2=0.4  取整0
循环出现
所以十进制的0.7=二进制的0.1 0110 0110……(循环节是0110)


0.25的二进制
0.25*2=0.5 取整是0
0.5*2=1.0    取整是1
所以0.25的二进制为 0.01 ( 第一次所得到为最高位,最后一次得到为最低位)

 

0.1~0.9只有0.5可以被有限表示,所以很多浮点数是不精确的

转载于:https://www.cnblogs.com/zhuanzhuan1996/p/9407106.html

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值