单精度，双精度和精度（转载）

最新推荐文章于 2022-10-23 17:42:26 发布
转载 最新推荐文章于 2022-10-23 17:42:26 发布 · 2.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/sinat_24143931/article/details/78557852

本文深入探讨了浮点数的不同精度类型，包括双精度、单精度和半精度，重点介绍了半精度浮点数的起源、用途及布局。通过对比三种浮点数的结构，解析了它们的表示规则，并讨论了在深度学习等场景中使用半精度浮点数的优势。

浮点数是计算机上最常用的数据类型之一，有些语言甚至数值只有浮点型（Perl，Lua同学别跑，说的就是你）。

常用的浮点数有双精度和单精度。除此之外，还有一种叫半精度的东东。

双精度64位，单精度32位，半精度自然是16位了。

半精度是英伟达在2002年搞出来的，双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。

很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常有价值的。

Google的TensorFlow就是使用了16位的浮点数，不过他们用的不是英伟达提出的那个标准，而是直接把32位的浮点数小数部分截了。据说是为了less computation expensive。。。

比较下几种浮点数的layout:

双精度浮点数

单精度浮点数

半精度浮点数

它们都分成3部分，符号位，指数和尾数。不同精度只不过是指数位和尾数位的长度不一样。

解析一个浮点数就5条规则

如果指数位全零，尾数位是全零，那就表示0
如果指数位全零，尾数位是非零，就表示一个很小的数（subnormal），计算方式 (−1)^signbit × 2^−126 × 0.fractionbits
如果指数位全是1，尾数位是全零，表示正负无穷
如果指数位全是1，尾数位是非零，表示不是一个数NAN
剩下的计算方式为 (−1)^signbit × 2^(exponentbits−127) × 1.fractionbits
常用的语言几乎都不提供半精度的浮点数，这时候需要我们自己转化

原文地址：https://blog.youkuaiyun.com/sinat_24143931/article/details/78557852

王建博09
关注
c语言双精度浮点数,使用C语言的十进制（浮点数，双精度）
weixin_26882891的博客
05-19 3300
小数点分为整数部分和小数部分，它们之间用点分隔. 例如，0.0、75.0、4.023、0.27，-937.198 -0.27等都是合法的小数. 这是最常见的小数形式. 这称为十进制形式.此外，十进制数也可以采用指数形式，例如7.25×102、0.0368×105、100.22×10-2，-27.36×10-3等. 任何十进制数字都可以用指数形式表示.C语言支持两种十进制形式. 但是在撰写本文时，C...
python设置变量精度_python中小数点精度控制问题
weixin_39994665的博客
12-09 1688
本篇文章转载自https://www.cnblogs.com/herbert/p/3402245.html浮点数是用机器上浮点数的本机双精度(64 bit)表示的。提供大约17位的精度和范围从-308到308的指数。和C语言里面的double类型相同。Python不支持32bit的单精度浮点数。如果程序需要精确控制区间和数字精度，可以考虑使用numpy扩展库。Python 3.X对于浮点数默认的...
单精度与双精度
热门推荐
卿本佳人的博客
02-10 3万+
单精度： 都包含三个部分：符号位，指数位和尾数部分。单精度是1位符号，8位指数，23位小数。 单精度和双精度精确的范围不一样：单精度，也即float，一般在计算机中存储占用4字节，也32位，有效位数为7位； 精度主要取决于尾数部分的位数，float为23位，所以float小数部分只能精确到后面6位，加上小数点前的一位，即有效数字为7位。 单精度浮点数的数值范围为-3.4乘以10的38次方～3.4乘以10的38次方（-3.4E38～3.4E38）。 双精度： 双精度是1位符号，11位指数，52位小数。
单精度和双精度
u014520797的专栏
01-31 720
贴图： 引用： 知乎 小数用二进制如何表示
单精度&双精度浮点数与十六进制数相互转换
10-27
浮点数和十六进制数的相互转换，包括：1.单精度浮点数（32位）和十六进制数的相互转换，2.双精度浮点数（64位）和十六进制数的相互转换。
单精度/双精度
weixin_40136732的博客
02-09 4155
不管float还是double 在计算机上的存储都遵循IEEE规范，使用二进制科学计数法，都包含三个部分：符号位，指数位和尾数部分。其中float的符号位，指数位，尾数部分分别为1， 8， 23. 双精度分别为1， 11， 52。 精度主要取决于尾数部分的位数，float为23位，除去全部为0的情况以外，最小为2的-23次方，约等于1.19乘以10的-7次方，所以float小数部分只能精确到后面6...
单精度和双精度问题
qq_26948737的博客
08-24 1万+
一，什么是单精度和双精度 单精度数(float)是指计算机表达实数近似值的一种方式。VB中Single（单精度浮点型）变量存储为 IEEE 32 位（4 个字节）浮点数值的形式，它的范围在负数的时候是从 -3.402823E38 到 -1.401298E-45，而在正数的时候是从 1.401298E-45 到 3.402823E38 。 双精度浮点数(double)是计算机使用的一种数据类型，使用 64 位（8字节） 来存储一个浮点数。 它可以表示十进制的15或16位有效数字，其可以表示的数字的绝对值
MIPS汇编语言学习笔记07：打印双精度浮点数
m0_61491107的博客
09-21 1048
课程原视频： https://www.bilibili.com/video/BV19J411y7pA?p=7 程序功能： 设定两个双精度浮点型数据，将其相加后打印输出。 代码： .data myDouble: .double 7.202 zeroDouble: .double 0.0 .text # 加载 load ldc1 $f2, myDouble ldc1 $f0, zeroDouble li $v0, 3 add.d $f12, $f2, $f0 syscal
查看显卡单精度 linux,完美：1.如何计算图形卡的单精度浮点运算能力
weixin_39796140的博客
05-15 1992
1.如何计算图形卡的单精度浮点运算能力浮点数是浮点数，例如1. 323256256 + 12.54256 32位长度精度计算。显卡最常见的精度是64bit / 128bit，128bit稍慢一些。图形转换是所有浮点计算。 GPU设计为浮点的。很难说，我是用人脑来计算浮点的。这很头疼。二进制实数，十进制数，指数，分数，十进制分数。全部计数，然后来回转换。这是单精度，单精度是二进制32位，双精度是二进...
浮点数精度问题以及原理解释
asd8888123456的博客
04-01 4907
首先计算机是以二进制来存储数值的，需要和十进制进行转换 一、二进制数转换成十进制数 由二进制数转换成十进制数的基本做法是，把二进制数首先写成加权系数展开式，然后按十进制加法规则求和。这种做法称为"按权相加"法。 例1105 把二进制数110.11转换成十进制数。 二、十进制数转换为二进制数 十进制数转换为二进制数时，由于整数和小数的转换方法不同，所以先将十进制数的整数部分和小数部分分别转换...
单精度到 uint8 和 uint32 的转换（和返回）：此模型显示了将单精度数据转换为无符号整数等效项的两种方法-matlab开发
06-01
此模型说明了将单精度浮点数转换为等效的无符号 32 位字和 8 位（四字节）数据结构并返回的两种方法。 主要目的是提供几种不同的方法来处理 Simulink 中这种类型的转换和位级操作（而不是作为特定问题的综合指南或解决方案）。
单精度浮点数 float、双精度浮点数 double
什么美哟有
06-29 1万+
内容导视：之前漏掉了小数对应的二进制，现补上。二进制转十进制从个位数开始向左计算，个位数乘以 2 的 0 次方，十位数乘以 2 的 1 次方，百位数乘以 2 的 2 次方…从十分位开始向右计算，十分位乘以 2 的 -1 次方，百分位乘以 2 的 -2 次方…然后将每个式子的结果相加。例 1：0b101.11 转为十进制 例 2：0b111.01 转为十进制 可以看到小数部分都是由 0.5、0.25、0.125、0.0625… 等数组合表示，前面的系数 1 或 0，0.625 = 1 * 0.5 + 0 *
单精度浮点数与双精度浮点数
qq_44712997的博客
11-27 5950
浮点数详解
单双精度区别
inhacker的博客
02-21 1万+
1.单精度浮点型(float): 　　专指占用32位存储空间的单精度(single-precision)值。单精度在一些处理器上比双精度更快而且只占用双精度一半的空间，但是当值很大或者很小的时候，他将变得不精确，当你需要小数部分并且对精度的要求不高时，单精度浮点型的变量是有用的。 2.双精度型： 　　正如它的关键词“double”，占用64位的存储空间。在一些现代的被优化用来进行高速数学计算的处理...
单精度与双精度区别
HW_870754395的博客
06-20 1万+
单精度与双精度区别（1）在内存中占有的字节数不同（2）有效数字位数不同（3）所能表示数的范围不同（4）在程序中处理速度不同 （1）在内存中占有的字节数不同 单精度浮点数在机内占4个字节 双精度浮点数在机内占8个字节 （2）有效数字位数不同 单精度浮点数有效数字8位 双精度浮点数有效数字16位 （3）所能表示数的范围不同 单精度浮点的表示范围：-3.40E+38 ~ +3.40E+38 双精度浮点的...
单精度和双精度的区别
Cachel Wood的博客
09-26 8306
在内存中占有的字节数不同 单精度浮点数在机内占4个字节 双精度浮点数在机内占8个字节 有效数字位数不同 单精度浮点数有效数字7位 双精度浮点数有效数字16位 所能表示数的范围不同 单精度浮点的表示范围：-3.40E+38 ~ +3.40E+38 双精度浮点的表示范围：-1.79E+308 ~ +1.79E+308 在程序中处理速度不同 一般来说，CPU处理单精度浮点数的速度比处理双精度浮点数快 精度主要取决于尾数部分的位数，单精度(float)为23位，除去全部为0的情况以外，最小为2的-23...
单精度（float） & 双精度 (double) 区别
m0_37856464的博客
07-08 1万+
含义：表明单精度和双精度精确的范围不一样，单精度，也即float，一般在计算机中存储占用4字节，也32位，有效位数为7位；双精度（double）在计算机中存储占用8字节，64位，有效位数为16位。 原因：不管float还是double 在计算机上的存储都遵循IEEE规范，使用二进制科学计数法，都包含三个部分：符号位，指数位和尾数部分。其中float的符号位，指数位，尾数部分分别为1, 8, 23. 双精度分别为1, 11, 52。 精度主要取决于尾数部分的位数，float为23位，除去全部为0的情况以外，最
单精度（float） & 双精度 (double) 区别
m0_60152377的博客
10-23 2517
精度主要取决于尾数部分的位数，float为23位，除去全部为0的情况以外，最小为2的-23次方，约等于1.19乘以10的-7次方，所以float小数部分只能精确到后面6位，加上小数点前的一位，即有效数字为7位。类似，double 尾数部分52位，最小为2的-52次方，约为2.22乘以10的-16次方，所以精确到小数点后15位，有效位数为16位。原因：不管float还是double 在计算机上的存储都遵循IEEE规范，使用二进制科学计数法，都包含三个部分：符号位，指数位和尾数部分。
逐行解释程序： def __init__(self): xy = np.loadtxt('data.csv',delimiter=',',dtype=np.float32) self.len = xy.shape[0] self.data_input= torch.from_numpy(xy[:, 0:-1]) self.label= torch.from_numpy(xy[:,[-1]]) ———————————————— 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接：https://blog.youkuaiyun.com/OrdinaryMatthew/article/details/123182727
最新发布
03-09
<think>好的，我现在需要帮用户逐行解释这段Python代码。首先，用户提供的代码是类的__init__方法，可能属于一个PyTorch模型或数据处理类。我要确保自己理解每一行代码的作用，并用清晰的中文解释出来。 首先看第一行：xy = np.loadtxt('data.csv', delimiter=',', dtype=np.float32)。这里用到了numpy的loadtxt函数来读取CSV文件。我需要说明这个函数的作用，参数delimiter和dtype的意义，以及加载后的数据形式。可能用户需要知道数据是如何被导入的，以及为什么要用float32类型。 接下来是self.len = xy.shape[0]。shape[0]应该是指数据的行数，也就是样本数量。需要解释shape属性的各个维度的含义，并说明这里获取的是样本总数，保存到实例变量len中。 然后是self.data_input = torch.from_numpy(xy[:, 0:-1])。这里将numpy数组转换为PyTorch张量。需要解释切片操作xy[:, 0:-1]的含义，即取所有行，列从0到倒数第二列，作为输入特征。同时要提到torch.from_numpy的作用，以及默认的数据类型是否和numpy一致，或者是否需要转换。 接下来是self.label = torch.from_numpy(xy[:, [-1]])。同样转换为张量，但这里取的是最后一列作为标签。注意用户代码中使用的是xy[:,[-1]]，双括号可能是为了保持维度，避免变成一维数组。需要解释这样做的目的，即保持二维形状（比如n行1列），这对某些模型可能是必要的。 还要注意整个代码可能是在一个神经网络模型的类中，用于初始化数据。需要指出可能的错误点，比如文件路径是否正确，数据是否存在，以及数据类型是否正确转换。此外，是否需要处理数据归一化或划分训练测试集？但用户提供的代码中没有这部分，所以可能不需要提及，除非用户有后续问题。 可能的疑问点包括：为什么用np.float32而不是更高的精度？可能是因为在深度学习中使用单精度浮点数更快，占内存更少。还有，torch.from_numpy返回的张量是否和numpy共享内存？是的，但用户可能需要注意如果之后修改了numpy数组，张量也会变化，但在这个代码中，因为数据加载后直接转换，可能不会有这个问题。 需要确保解释清晰，每行代码的作用、参数含义、转换原因都说明到位。同时，用户可能希望知道这段代码在整个模型训练流程中的作用，比如数据准备阶段。是否需要提到这些张量会被用来作为模型的输入和标签？可能的话，可以简要说明。 最后，检查是否有遗漏的细节，比如版权声明和原文链接，用户可能希望确认代码的来源是否可靠，但可能不需要在解释中提及这些，除非用户特别询问。</think>以下是对这段代码的逐行解释： ```python def __init__(self): # 从CSV文件加载数据，使用逗号分隔符，数据类型为32位浮点数 # 返回的xy是二维numpy数组，格式为[样本数, 特征数+标签] xy = np.loadtxt('data.csv', delimiter=',', dtype=np.float32) # 获取数据集总样本数：xy.shape返回(行数,列数)，shape[0]即行数 self.len = xy.shape[0] # 提取输入特征：所有行的第0到倒数第二列（切片语法0:-1） # torch.from_numpy将numpy数组转换为PyTorch张量 # 结果维度为[样本数, 特征数] self.data_input = torch.from_numpy(xy[:, 0:-1]) # 提取标签数据：所有行的最后一列（[-1]保持二维结构） # 使用双括号[ [-1] ]是为了保持二维形状(n,1)而不是一维(n,) # 结果维度为[样本数, 1] self.label = torch.from_numpy(xy[:, [-1]]) ``` 关键细节说明： 1. 数据加载：`np.loadtxt`默认跳过空行和以`#`开头的注释行 2. 维度保持：`xy[:,[-1]]`比`xy[:,-1]`多保留一个维度，避免降维 3. 自动类型转换：`torch.from_numpy`会继承numpy数组的数据类型（此处为float32） 4. 内存共享：生成的PyTorch张量与原始numpy数组共享内存，修改其中一个会影响另一个 典型应用场景：这段代码通常出现在PyTorch自定义Dataset类中，用于： 1. 数据加载与预处理 2. 特征与标签分离 3. 转换为PyTorch张量供神经网络直接使用 注意事项： 1. 文件路径：需确保data.csv位于当前工作目录 2. 数据规范：建议在加载后进行归一化/标准化处理 3. 数据集划分：通常需要添加训练集/测试集分割逻辑 4. 数据类型：float32适合大多数深度学习任务，可降低内存消耗
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值