浮点数溢出错误

最新推荐文章于 2024-10-22 21:31:27 发布
原创 最新推荐文章于 2024-10-22 21:31:27 发布 · 4.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#测试

本文记录了一次处理10的20次幂运算时遇到的浮点数溢出问题，详细介绍了正溢出（1.#INF00）和负溢出（-1.#INF00）的表现形式及其对应的二进制表示。

之前只是听说过，但是没遇到过，今天de到一个溢出bug。

具体是一个10的20次幂相乘，结果导致浮点数溢出。

结果显示出来是：1.#INF00（正溢出）或者是-1.#INF00（负溢出）。

 

二进制是0x7f800000（正溢出）0xff80000（负溢出）。

 

这个自己写个简单测试也可以得到。

 

Go语言必知必会100问题-19 浮点数溢出问题
数据小冰的博客
03-10 1288
Go语言中float32和float64在计算机中是一种近似值表示，因此，我们必须牢记下面的规则：当比较两个浮点数时，检查它们的差值是否在可接受的范围内，而不是直接 == 进行比较当执行加法或减法时，为了获得更好的精度，可以根据运算级进行分组为了提高准确性，如果一系列运算需要加法、减法、乘法或除法，先执行乘法和除法运算。
浮点数表示和需要注意的问题
自由理想的足迹
01-14 8907
// 计算机底层数字转换:     //1.10进制转换为n进制，正数除以进制，倒转取余（通过16进制和2进制转换更方便)；小数乘以进制数，顺序取整。     //2.N进制数转换为10进制数，Ax(2^1) + Bx(2 ^0) + Cx(2^-1)数列形式表示，无论正数负数都一样。     //3.浮点数表示：符号位，指数位(0-127表示负数，(127-256)表示正数)，尾数（去掉前
浮点数存储格式
shermy的专栏
10-14 3132
    浮点数有两个基础类型:float和double。float占据4个字节,double占据8个字节。下面将以float类型为例，介绍浮点数的存储方式。double类型和float类型的存储方式雷同。 1.浮点数的存储方式     浮点数的存储格式比较特殊，下图是4字节的float变量的存储示意图：           根据IEEE754浮点数表示标准，
C语言强制类型转换
u012179528的博客
06-11 3051
结论： C语言中，因为计算机均采用补码形式进行存放，且运算时会进行自动类型转换，因此不论有符号数还是无符号数，在强制转换中均采用统一法则： 若被转换的数据类型低于int，则在转换时先自动转换为int型数据，然后再将int型转换为指定类型，即强制截断高位，若被转换数据类型等于int或unsigned int，则直接进行高位截断； 分析如下，以下分析假设以32位机作为平台： 1、数据类型低于int，先默认转换为int型，用符号位进行高位填充，正数用0进行填充，负数用1...
整数运算、浮点运算与溢出
weixin_30570101的博客
11-01 607
1. 一个示例 sizeof(int) == 4 的机器上，也即 32 位机器，使用 int 型变量存储 200*300*400*500 会得到 -884901888。这显然违犯了整数运算的特性，计算一组正数的乘积不应该产生一个负数结果。 另一方面，整数在计算机中的运算满足数学上对整数运算的许多性质。乘法的结合和交换律，下面的任何一个 C 表达式，都会得到 -...
九十、浮点溢出Floating point exception怎么办？？
从最基础开始学习Fluent
10-22 4852
浮点溢出是最常见的不收敛情况，此时文本控制栏会出现下面的文本：Error: floating point exception。最后Fluent会直接停止计算，不要有任何的侥幸心理，你这次的计算是彻底的发散了，发散到Fluent都觉得没有计算下去的必要了。
为什么会浮点数溢出 应该怎么解决问题
04-03
文档中仅有一些警告和性能提示，但没有任何关于浮点数溢出的具体错误信息。因此，在当前情况下，我们无法直接确认是否确实发生了浮点数溢出。 不过，如果你怀疑存在浮点数溢出的可能性，可以考虑以下几种常见的原因...
浮点数溢出与C语言程序设计
浮点数溢出是指在计算机科学中，浮点数超过其表示范围时所产生的溢出错误。在C语言中，浮点数的溢出可以分为上溢和下溢。 上溢是指浮点数的值超过其最大表示范围时所产生的溢出错误。例如，在某系统中，浮点数的...
计算时显示浮点数溢出，可以改用双精度计算嘛
最新发布
12-04
我们正在处理一个关于Icepak计算中浮点数溢出的问题。用户询问当Icepak计算显示浮点数溢出时，是否可以改用双精度计算。我们需要结合Icepak的实际计算精度设置和可能的解决方案来回答。 首先，我们需要明确Icepak...
IEEE 754标准下的浮点数溢出处理与规格化表示
这个标准对于溢出处理有着明确的规定，因为浮点数运算可能会导致数值超出其正常范围。 在加减运算中，IEEE-754要求系统首先要检查是否有阶码溢出。阶码通常用于表示指数部分，正数的阶码为正，负数的阶码为负。如果...
解析C++浮点数无效值的定义与无效值判定的小结
12-31
在实际计算中可能会出现浮点型的无效数据，格式化输出到文件中内容为1.79769e+308，输出到界面就是很大一串数据。这两种方式无论哪种在阅读和查找时就不是很方便。在开发中遇见浮点型数据无效值得判定。 无效值定义如下：#define InvalidDouble *(double*)(“\xff\xff\xff\xff\xff\xff\xef\x7f”)double  price;………（计算步骤省掉）price=GetPrice(); //获取数据 通过下面方式对浮点型的无效数据进行判定方法(price==InvalidDouble)?0:price
c语言浮点乘法 溢出,浮点加减乘除运算各在什么情况下会发生溢出?
weixin_35843410的博客
05-18 1526
满意答案w9o7w4292014.01.10采纳率：52%等级：12已帮助：2903人溢出的原因只有一个那就是这句c=a/b其中b的值为0也就是b=cint(request.Form("b"))没有获取到值你的代码是没有错的你要检查的地方有:1、request.Form("select")是否有获取到值因为如果request.Form("select")没有获取到值就会直接执行elsec=...
小心浮点数溢出
IT旅途
09-06 3424
平时编码相对关注整形溢出情况，对于浮点数考虑溢出情况关注较少，因为计算性能的缘故本身使用浮点数的时机就很少，而且也很少会用到较大的数。 但是如果使用pow之类的函数的时候，就要关注下是否会有溢出的情况。 例如： double fTemp1 = pow(-1.2, -1.2); // 会得到-nan(ind) double fTemp2 = pow(10.0, 330.0);...
浮点数运算误差解决
weixin_44541467的博客
06-05 1万+
在进行数据计算时，小数也就是浮点数拥有不低的出场率。在常人看来，机器也就是计算机的数据运算是不会出错的，没错，计算机进行数据运算的确不会犯错，但小数运算的误差是免不了的。 来试一试。 在JS中写上console.log(0.3-0.1);输出到控制台 是不是出乎意料，简单的0.3-0.1=0.2这样一道小学算术都没算对。 在对于浮点数的四则运算，几乎所有的编程语言都会有类似...
JAVA 浮点数的范围和精度
绝圣弃智-零的博客
05-28 1527
（一）IEEE754标准 IEEE754标准即IEEE浮点数算术标准，由美国电气电子工程师学会（IEEE）计算机学会旗下的微处理器标准委员会发布。 以32位float数据为例，在内存中的存储形式是1bit的符号位(S)，8bit表示指数部分(Exp)，23表示小数部分的尾数(Fraction)。 表一单精度浮点数在内存中存储形式 1bit符号 8bit指数部分 23bit尾数 符号位——S取0时表示负数，取1时表示负数。 ...
[七]基础数据类型之Float详解
noteless的博客
10-08 1万+
Float 基本数据类型float 的包装类 Float 类型的对象包含一个 float 类型的字段 属性简介 用来以二进制补码形式表示 float 值的比特位数 public static final int SIZE = 32; 二进制补码形式表示 float 值的字节数 public static final int BYTES = SIZE / ...
(知识汇总) 浮点数详解 (IEEE 754标准）
热门推荐
fang 0 jun的博客
04-01 1万+
【IEEE浮点数表示法】 IEEE 浮点数标准是从逻辑上用三元组{S，E，M}来表示一个数 V 的，即 V=（-1）S×M×2E 1，符号位 s（Sign）决定数是正数（s＝0）还是负数（s＝1），而对于数值 0 的符号位解释则作为特殊情况处理。 2，有效数字位 M（Significand）是二进制小数，它的取值范围为 1~2-ε，或者为 0~1-ε。它也被称为尾数位（Mantissa）、系数............
浮点数运算精度问题分析与解决方案
学习记录
08-04 5110
最近在项目中遇到精度计算问题，用Double类型的数据减去Double类型的数据，得出的结果在预期之外，经过一番思考与学习，最后找到解决问题的方案。 一、浮点数运算导致精度问题现象 代码如下： Double num1 = 2.1; Double num2 = 2.0; System.out.println(num1 - num2); 用人类的口算可以知道，结果是0.1。可是...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值