浮点型数据经度丢失问题

问题提出:12.0f-11.9f=0.10000038,"减不尽"为什么?

来自MSDN的解释:

http://msdn.microsoft.com/zh-cn/c151dt3s.aspx

为何浮点数可能丢失精度浮点十进制值通常没有完全相同的二进制表示形式。 这是 CPU 所采用的浮点数据表示形式的副作用。为此,可能会经历一些精度丢失,并且一些浮点运算可能会产生意外的结果。

导致此行为的原因是下面之一:

十进制数的二进制表示形式可能不精确。

使用的数字之间类型不匹配(例如,混合使用浮点型和双精度型)。

为解决此行为,大多数程序员或是确保值比需要的大或者小,或是获取并使用可以维护精度的二进制编码的十进制 (BCD) 库。

现在我们就详细剖析一下浮点型运算为什么会造成精度丢失?

1、小数的二进制表示问题

       首先我们要搞清楚下面两个问题:

     (1) 十进制整数如何转化为二进制数

           算法很简单。举个例子,11表示成二进制数:

                     11/2=5 余   1

                       5/2=2   余   1

                       2/2=1   余   0

                       1/2=0   余   1

                          0结束         11二进制表示为(从下往上):1011

          这里提一点:只要遇到除以后的结果为0了就结束了,大家想一想,所有的整数除以2是不是一定能够最终得到0。换句话说,所有的整数转变为二进制数的算法会不会无限循环下去呢?绝对不会,整数永远可以用二进制精确表示 ,但小数就不一定了。

      (2) 十进制小数如何转化为二进制数

           算法是乘以2直到没有了小数为止。举个例子,0.9表示成二进制数

                     0.9*2=1.8   取整数部分 1

                     0.8(1.8的小数部分)*2=1.6    取整数部分 1

                     0.6*2=1.2   取整数部分 1

                     0.2*2=0.4   取整数部分 0

                     0.4*2=0.8   取整数部分 0

                     0.8*2=1.6 取整数部分 1

                     0.6*2=1.2   取整数部分 0

                              .........      0.9二进制表示为(从上往下): 1100100100100......

           注意:上面的计算过程循环了,也就是说*2永远不可能消灭小数部分,这样算法将无限下去。很显然,小数的二进制表示有时是不可能精确的 。其实道理很简单,十进制系统中能不能准确表示出1/3呢?同样二进制系统也无法准确表示1/10。这也就解释了为什么浮点型减法出现了"减不尽"的精度丢失问题。

 

2、 float型在内存中的存储

     众所周知、 Java 的float型在内存中占4个字节。float的32个二进制位结构如下

          

float内存存储结构 

             4bytes      31          30          29----23      22----0         

            表示       实数符号位    指数符号位        指数位          有效数位

        其中符号位1表示正,0表示负。有效位数位24位,其中一位是实数符号位。

 

         将一个float型转化为内存存储格式的步骤为:

        (1)先将这个实数的绝对值化为二进制格式,注意实数的整数部分和小数部分的二进制方法在上面已经探讨过了。
     (2)将这个二进制格式实数的小数点左移或右移n位,直到小数点移动到第一个有效数字的右边。
     (3)从小数点右边第一位开始数出二十三位数字放入第22到第0位。
     (4)如果实数是正的,则在第31位放入“0”,否则放入“1”。
     (5)如果n 是左移得到的,说明指数是正的,第30位放入“1”。如果n是右移得到的或n=0,则第30位放入“0”。
     (6)如果n是左移得到的,则将n减去1后化为二进制,并在左边加“0”补足七位,放入第29到第23位。如果n是右移得到的或n=0,则将n化为二进制后在左边加“0”补足七位,再各位求反,再放入第29到第23位。

 

          举例说明: 11.9的内存存储格式

       (1) 将11.9化为二进制后大约是" 1011. 1110011001100110011001100..."。

       (2) 将小数点左移三位到第一个有效位右侧: "1. 011 11100110011001100110 "。 保证有效位数24位,右侧多余的截取(误差在这里产生了 )。

       (3) 这已经有了二十四位有效数字,将最左边一位“1”去掉,得到“ 011 11100110011001100110 ”共23bit。将它放入float存储结构的第22到第0位。

       (4) 因为11.9是正数,因此在第31位实数符号位放入“0”。

       (5) 由于我们把小数点左移,因此在第30位指数符号位放入“1”。

       (6) 因为我们是把小数点左移3位,因此将3减去1得2,化为二进制,并补足7位得到0000010,放入第29到第23位。

 

           最后表示11.9为: 1 0000010 011 11100110011001100110

 

           再举一个例子:0.2356的内存存储格式
      (1)将0.2356化为二进制后大约是0.00111100010100000100100000。
      (2)将小数点右移三位得到1.11100010100000100100000。
      (3)从小数点右边数出二十三位有效数字,即11100010100000100100000放
入第22到第0位。
      (4)由于0.2356是正的,所以在第31位放入“0”。
      (5)由于我们把小数点右移了,所以在第30位放入“0”。
      (6)因为小数点被右移了3位,所以将3化为二进制,在左边补“0”补足七
位,得到0000011,各位取反,得到1111100,放入第29到第23位。
       

           最后表示0.2356为:0 0 1111100 11100010100000100100000

 

           将一个内存存储的float二进制格式转化为十进制的步骤:
     (1)将第22位到第0位的二进制数写出来,在最左边补一位“1”,得到二十四位有效数字。将小数点点在最左边那个“1”的右边。
     (2)取出第29到第23位所表示的值n。当30位是“0”时将n各位求反。当30位是“1”时将n增1。
     (3)将小数点左移n位(当30位是“0”时)或右移n位(当30位是“1”时),得到一个二进制表示的实数。
     (4)将这个二进制实数化为十进制,并根据第31位是“0”还是“1”加上正号或负号即可。

 

3、浮点型的减法运算

 

          浮点加减运算过程比定点运算过程复杂。完成浮点加减运算的操作过程大体分为四步:
  (1) 0操作数的检查;

                如果判断两个需要加减的浮点数有一个为0,即可得知运算结果而没有必要再进行有序的一些列操作。

   (2) 比较阶码(指数位)大小并完成对阶;

                两浮点数进行加减,首先要看两数的 指数位 是否相同,即小数点位置是否对齐。若两数 指数位 相同,表示小数点是对齐的,就可以进行尾数的加减运算。反之,若两数阶码不同,表示小数点位置没有对齐,此时必须使两数的阶码相同,这个过程叫做对阶 。

                如何对 阶(假设两浮点数的指数位为 Ex 和 Ey ):

        通过尾数的移位以改变 Ex 或 Ey ,使之相等。由于浮点表示的数多是规格化的,尾数左移会引起最高有位的丢失,造成很大误差;而尾数右移虽引起最低有效位的丢失,但造成的误差较小,因此,对阶操作规定使尾数右移,尾数右移后使阶码作相应增加,其数值保持不变。很显然,一个增加后的阶码与另一个相等,所增加的阶码一定是小阶。因此在对阶时,总是使小阶向大阶看齐 ,即小阶的尾数向右移位 ( 相当于小数点左移 ) ,每右移一位,其阶码加 1 ,直到两数的阶码相等为止,右移的位数等于阶差 △ E 。
   (3) 尾数(有效数位)进行加或减运算;

               对阶完毕后就可 有效数位 求和。不论是加法运算还是减法运算,都按加法进行操作,其方法与定点加减运算完全一样。 
   (4) 结果规格化并进行舍入处理。

                

4、计算12.0f-11.9f

       12.0f 的内存存储格式为: 0 1 0000010 10000000000000000000000    

     11.9f 的内存存储格式为:   0 1 0000010 011 11100110011001100110


     可见两数的指数位完全相同,只要对有效数位进行减法即可。

     12.0f-11.9f   结果:         0 1 0000010 00000011001100110011010

 

     将结果还原为十进制为: 0.000 11001100110011010= 0.10000038

详细的分析

由于对float或double 的使用不当,可能会出现精度丢失的问题。问题大概情况可以通过如下代码理解:

view plaincopy to clipboardprint?
public class FloatDoubleTest {  
public static void main(String[] args) {  
float f = 20014999;  
double d = f;  
double d2 = 20014999;  
System.out.println("f=" + f);  
System.out.println("d=" + d);  
System.out.println("d2=" + d2);  
 
}
public class FloatDoubleTest {
public static void main(String[] args) {
float f = 20014999;
double d = f;
double d2 = 20014999;
System.out.println("f=" + f);
System.out.println("d=" + d);
System.out.println("d2=" + d2);
}
}

得到的结果如下:

f=2.0015E7

d=2.0015E7

d2=2.0014999E7

从输出结果可以看出double 可以正确的表示20014999 ,而float 没有办法表示20014999 ,得到的只是一个近似值。这样的结果很让人讶异。20014999 这么小的数字在float下没办法表示。于是带着这个问题,做了一次关于float和double学习,做个简单分享,希望有助于大家对java 浮点数的理解。

 

关于 java 的 float 和 double

Java 语言支持两种基本的浮点类型: float 和 double 。java 的浮点类型都依据 IEEE 754 标准。IEEE 754 定义了32 位和 64 位双精度两种浮点二进制小数标准。

IEEE 754 用科学记数法以底数为 2 的小数来表示浮点数。32 位浮点数用 1 位表示数字的符号,用 8 位来表示指数,用 23 位来表示尾数,即小数部分。作为有符号整数的指数可以有正负之分。小数部分用二进制(底数 2 )小数来表示。对于64 位双精度浮点数,用 1 位表示数字的符号,用 11 位表示指数,52 位表示尾数。如下两个图来表示:

float(32位):

 

 

 

double(64位): 


 

 

 

都是分为三个部分:

(1) 一个单独的符号位s 直接编码符号s 。

(2)k 位的幂指数E ,移码表示。

(3)n 位的小数,原码表示。

那么 20014999 为什么用 float 没有办法正确表示?

结合float和double的表示方法,通过分析 20014999 的二进制表示就可以知道答案了。

以下程序可以得出 20014999 在 double 和 float 下的二进制表示方式。

view plaincopy to clipboardprint?
public class FloatDoubleTest3 {  
public static void main(String[] args) {  
double d = 8;  
long l = Double.doubleToLongBits(d);  
System.out.println(Long.toBinaryString(l));  
float f = 8;  
int i = Float.floatToIntBits(f);  
System.out.println(Integer.toBinaryString(i));  
 
}
public class FloatDoubleTest3 {
public static void main(String[] args) {
double d = 8;
long l = Double.doubleToLongBits(d);
System.out.println(Long.toBinaryString(l));
float f = 8;
int i = Float.floatToIntBits(f);
System.out.println(Integer.toBinaryString(i));
}
}

输出结果如下:

Double:100000101110011000101100111100101110000000000000000000000000000

Float:1001011100110001011001111001100

对于输出结果分析如下。对于都不 double 的二进制左边补上符号位 0 刚好可以得到 64 位的二进制数。根据double的表示法,分为符号数、幂指数和尾数三个部分如下:

0 10000010111 0011000101100111100101110000000000000000000000000000

对于 float 左边补上符号位 0 刚好可以得到 32 位的二进制数。 根据float的表示法, 也分为 符号数、幂指数和尾数三个部分如下:

0 10010111 00110001011001111001100

绿色部分是符号位,红色部分是幂指数,蓝色部分是尾数。

对比可以得出:符号位都是 0 ,幂指数为移码表示,两者刚好也相等。唯一不同的是尾数。

在 double 的尾数为: 001100010110011110010111 0000000000000000000000000000 ,省略后面的零,至少需要24位才能正确表示 。

而在 float 下面尾数为: 00110001011001111001100 ,共 23 位。

为什么会这样?原因很明显,因为 float尾数 最多只能表示 23 位,所以 24 位的 001100010110011110010111 在 float 下面经过四舍五入变成了 23 位的 00110001011001111001100 。所以 20014999 在 float 下面变成了 20015000 。
也就是说 20014999 虽然是在float的表示范围之内,但 在 IEEE 754 的 float 表示法精度长度没有办法表示出 20014999 ,而只能通过四舍五入得到一个近似值。

<think>好的,我需要解决将NumPy数组转换为GeoTIFF时出现的数值不一致问题。首先,我得了解可能导致数值变化的原因。根据用户提供的引用,GDAL的GetGeoTransform方法返回地理变换参数,而转换过程中可能涉及数据类型的处理。可能的原因包括数据类型不匹配、NoData值处理错误、缩放因子应用不当、坐标系定义错误以及文件保存时的压缩或元数据问题。 接下来,我需要逐一分析这些原因。例如,如果NumPy数组是float类型而GeoTIFF设置为整型,转换时就会发生截断或四舍五入。另外,NoData值的设置如果与实际数据冲突,可能导致部分数据被错误替换。缩放因子如果没有正确应用,也会改变数值。此外,坐标系和地理变换参数不正确可能导致数据对齐错误,间接引起数值变化。 解决方案方面,需要确保数据类型一致,正确设置NoData值和缩放参数,验证地理信息参数,并检查压缩选项。例如,在保存GeoTIFF时明确指定数据类型,使用gdal.GetDataTypeByName匹配NumPy类型。同时,避免在转换过程中引入不必要的缩放,并确保地理变换矩阵正确无误。 最后,用户可能需要具体的代码示例来实际操作,比如使用GDAL创建数据集,设置地理信息,写入数组数据,并处理可能的异常情况。这能帮助用户更直观地理解和应用解决方案。</think>### NumPy数组转GeoTIFF数值变化的原因及解决方案 #### **可能原因分析** 1. **数据类型不匹配** - NumPy数组的数据类型(如`float32`、`uint16`)与GeoTIFF文件定义的类型不一致,导致强制转换时精度丢失或截断。例如,浮点数转换为整数时会四舍五入或直接取整[^1]。 2. **NoData值处理问题** - 若设置了无效值(NoData Value),转换时可能将某些数值错误地替换为NoData值,导致数据异常。 3. **缩放因子(Scale/Offset)干扰** - GDAL在写入数据时可能自动应用了缩放因子(如`scale=0.1`),导致原始数值被放大或缩小。例如,`100`可能存储为`10`(若`scale=10`)。 4. **坐标系或地理变换参数错误** - 缺少地理参考信息(如仿射变换矩阵、坐标系定义)可能导致数据对齐错误,间接引发数值异常[^1]。 5. **压缩或元数据干扰** - 使用有损压缩(如JPEG)可能导致数值轻微变化,尤其对浮点数据敏感。 --- #### **解决方案步骤** 1. **显式指定数据类型** 在保存GeoTIFF时强制匹配NumPy数组与目标文件的数据类型: ```python import gdal import numpy as np array = np.random.rand(100, 100).astype(np.float32) # 示例数组 driver = gdal.GetDriverByName("GTiff") ds = driver.Create("output.tif", 100, 100, 1, gdal.GDT_Float32) # 明确指定为Float32 ds.GetRasterBand(1).WriteArray(array) ds = None # 关闭文件 ``` 2. **检查并禁用缩放因子** 确保未意外启用缩放: ```python band = ds.GetRasterBand(1) band.SetScale(1.0) # 缩放因子设为1.0(无缩放) band.SetOffset(0.0) # 偏移量设为0.0 ``` 3. **正确处理NoData值** 若需设置NoData,避免与有效数据范围冲突: ```python band.SetNoDataValue(-9999) # 选择远离实际数据范围的值 ``` 4. **验证地理变换参数** 确保仿射变换矩阵与坐标系正确: ```python ds.SetGeoTransform([左上角X坐标, 像元宽度, 0, 左上角Y坐标, 0, 像元高度]) # 根据实际数据填写 ds.SetProjection("EPSG:4326") # 设置坐标系(示例为WGS84) ``` 5. **避免有损压缩** 保存时选择无损压缩(如DEFLATE): ```python ds = driver.Create("output.tif", 100, 100, 1, gdal.GDT_Float32, options=["COMPRESS=DEFLATE"]) ``` --- #### **代码示例(完整流程)** ```python from osgeo import gdal, osr import numpy as np # 创建示例数组(浮点型) array = np.linspace(0, 1, 10000).reshape(100, 100).astype(np.float32) # 创建GeoTIFF文件 driver = gdal.GetDriverByName("GTiff") ds = driver.Create("output.tif", 100, 100, 1, gdal.GDT_Float32) # 设置地理参考(示例参数) ds.SetGeoTransform([120.0, 0.01, 0, 30.0, 0, -0.01]) # 左上角经度120、纬度30,分辨率0.01度 srs = osr.SpatialReference() srs.ImportFromEPSG(4326) # WGS84坐标系 ds.SetProjection(srs.ExportToWkt()) # 写入数据并关闭 band = ds.GetRasterBand(1) band.WriteArray(array) band.SetNoDataValue(-9999) # 可选 ds = None ``` --- #### **验证一致性** 1. **重新读取GeoTIFF** 用GDAL读取生成的GeoTIFF,对比原始数组: ```python ds = gdal.Open("output.tif") saved_array = ds.GetRasterBand(1).ReadAsArray() print("差异最大值:", np.max(np.abs(array - saved_array))) # 应为0 ``` 2. **检查元数据** 使用`gdalinfo output.tif`确认数据类型、NoData值、缩放因子等参数。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值