训练时,需要32bit高精度的浮点型数值类型;而推断时,可以用8bit的整数类型数值

最新推荐文章于 2024-09-23 11:33:46 发布
最新推荐文章于 2024-09-23 11:33:46 发布
阅读量689 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Tensorflow编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wc996789331/article/details/90481359
博客指出在模型训练过程中，需要计算梯度并运用学习算法不断更新参数，每次更新量小，对数值表示的精度需求很高，因此模型训练需要高精度的浮点型数值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

训练: 模型的训练过程中，需要计算梯度，然后运用一定的学习算法，不断的更新参数，每次的更新量可能是很小的, 数值表示的精度需求很高。所以模型的训练过程需要高精度的浮点型数值的.

推断时: 待续

基于pytorch量化感知训练（mnist分类）--浮点训练vs多bit后量化vs多bit量化感知训练效果对比
踟蹰横渡口,彳亍上滩舟。
03-06 8070
基于pytorch量化感知训练–浮点训练vs多bit后量化vs多bit量化感知训练效果对比 代码下载地址：下载地址 灰色线是量化训练，橙色线是后训练量化，可以看到，在 bit = 2、3 的时候，量化训练能带来很明显的提升。 实验分析 在 bit = 1 的时候，我发现量化训练回传的梯度为 0，训练基本失败了。这是因为 bit = 1 的时候，整个网络已经退化成一个二值网络了，而低比特量化训练本身不是一件容易的事情，虽然我们前面用 STE 解决了梯度的问题，但由于低比特会使得网络的信息损失巨大，因此通常
低精度神经网络：从数值计算角度优化模型效率
Paper weekly
07-24 7093
作者丨林野学校丨东北大学自然语言处理实验室2019级博士生研究方向丨机器翻译、模型压缩、模型加速背景近年来，随着人工智能的不断兴起，神经网络已经在语音识别、计算机视觉和...
聊聊 8 位浮点数
程序猿视角
04-30 9955
越来越多的神经网络模型在部署的时候采用 8 位浮点数，感到有些好奇，所以粗略了解一下，聊聊这个话题。 ## 1.浮点数的格式 先说说浮点数的表示方法。任意二进制数N可以写成 N = 2^e * M 的形式，其中 M 称为浮点数的尾数，是一个纯小数。e 是比例因子的指数，称为浮点数的指数，是一个整数。比例因子的基数 2 对二进记数制的机器是一个常数。 我们参照 IEEE R32.24 标准，看看 float32 的格式：
人工智能猜想之8位浮点数
proorck2019的博客
11-06 539
训练神经元网络时，用的似乎是64位浮点数，是否有这个必要呢？ 已知，人眼的分辨能力，电脑上的颜色分为红绿蓝三原色，每种颜色有256种可能，占8比特，是否可以猜测，神经元的分辨力就是8比特。这样一来，训练神经元网络的任务似乎可以简单一点了。 8比特小数，从0.000到1.000，(待续) ...
十万个为什么——为什么8bit有符号整型的范围是-128到127
weixin_30765505的博客
07-13 665
从谭浩强的C语言到我现在手上的这本C++ Primer Plus，几乎所有的书都是这么说的。说来惭愧，我从来没有研究过为什么是这个范围，以前每次看到这里就头疼，甚至知道考试要考也不背。 之前我也研究过，但是今天看到这里，又疑惑了。 所以，我还是没弄清楚！ 先说说我的想法： 0 0 0 0 0 0 0 0 如果最前面一位用0和1来表示正负，那么剩下来的7位能表示的数，最小是0， ...
一种小数表示方法
m0_49540263的博客
12-24 2381
一种浮点数表示方法 （是否有符号数,总位宽，小数部分位宽） 举例： （0，8，6）：8’b0100_0010 表示无符号数,8-0-6=2,2bit表示整数位，6bit表示小数位：1+2*(1/2^6)=1.03125 （1，9，3）：8’b1_1110_0101表示有符号数，最高位是符号位，9-1-3=5,次5bit是整数位，剩下3bit是 小数位：-(28+5*(1/2^3))=-28.625 （1,6，8）：此种情况较为特殊，小数部分位宽精度大于整个数据位宽，此时除去最高位符号位剩余的所有bit都表
C语言初步认识-不同数据类型的存储方式（1）
多敲代码防脱发的博客
04-23 1281
单精度浮点型即float类型。打印结果为4，说明它的存储大小是4个字节。接下来让我们打印一下这个数（注意在打印float类型时，我们用%f去打印int main()return 0;其中最高位为符号位，紧接着8位为指数位，剩下的23位为尾数位（具体是怎么实现的我会在下一章节说明）。
PyTorch模型的混合精度训练：速度与精度平衡的艺术
![PyTorch模型的混合精度训练：速度与精度平衡的艺术]...传统的训练方法通常使用单精度浮点数（32-bit float），但这种方法可能会导致大量的计算资源浪费。通过
【C语言从不挂科到高绩点】02-变量、数据类型、标识符、关键字
yueyehuguang的博客
08-27 1141
计算机用来存储可变数据的内存空间。声明变量（确定变量的类型和名字）int age;表示在内存中开辟了一个 int 类型的区域，给这块内存区域取了个名字叫 ageint 类型的变量，占 4 个字节，int age；可以理解成在内存中开辟了一个 4“平米”的空间变量初始化（给变量赋值）先通过变量名字找到变量对应的内存空间，然后往里面存储数据age = 18;表示，先根据 age 找到变量对应的空间，然后将 18 这个数据存储到 age 对应的内存空间中上面这两步，可以合并。
Go基础篇：类型系统
林钟一的博客
04-28 1541
前段时间忙着春招面试，现在也算告一段落，找到一家比较心仪的公司实习，开始慢慢回归状态，这后面几章我会学习go1.19版本的语言特性或者机制：类型系统、接口、断言以及反射的内容，也算是补上之前没有深入底层的内容。类型的概念在不同的编程语言之间是不同的，可以用许多不同的方式来表达，但都有一些相同点。类型是用来定义变量、常量、函数参数、函数返回值等值的属性；在定义的变量上可以执行一组操作，例如：int 类型可以执行 + 和 - 等运算，而对于 string 类型，可以执行连接、空检查等操作；
浮点数的精度问题
ZBourne的博客
03-28 895
浮点数的存储方式 知识补充—二进制表示的小数 对于二进制的小数： 1.1=1×20+1×2-1=1+1/2=1.5; 1.01=1×20+0×2-1+1×2-2=1+1/4=1.25 1.0011=1×20+0×2-1+0×2-2+1×2-3+1×2-4=1+1/8+1/16=1.1875 这样看下去，只要有足够的位数，二进制的小数就可以像十进制数一样表示任何数。但是计算机存储空间是有限的。为了...
MATLAB实现语音信号的读取
Tristan的博客
10-26 8275
一、函数调用 [y,Fs] = audioread(filename) [y,Fs] = audioread(filename,samples) [y,Fs] = audioread(___,dataType) 二、函数使用 1.示例1 [y,Fs] = audioread(filename) 从名为 filename 的文件中读取数据，并返回样本数据 y 以及该数据的采样率 Fs。 2.示例2 [y,Fs] = audioread(filename,samples) 读取文件中所选范围的音频样本，其中
8位int类型范围为什么是-128 ~ 127？
qq_40586164的博客
03-27 4424
因为计算机是以补码形式储存数据的（为了可以把减法当加法算，比如5-3=5+（-3），补码情况下正数和负数可以直接相加） 所以，补码的范围就是计算机可以储存的数的范围。 ...
定点化学习（一）
最新发布
YANJINING
09-23 211
需要注意的是，963 会在 8 位定点数中占用一个超出范围的值（最大为 255），所以需要考虑小数部分的精度和可表示范围。所谓的量化误差就是我定点化后，还存在小数位，这个小数小于一个阈值，比如0.5，那么我就认为量化误差是很小的，相当于无损定点化了，比如我962.56，0.56大于0.5，是有损量化误差。我有一个小数3.76，我要用8bit位宽来定点化，是不是就是3.76乘以256，但是得到的数值是962.56，这个0.56是不是可以用四舍五入来舍去。学习笔记，方便复习，刷到请划走，避免误导。
十进制小数定点化
CLL_caicai的博客
08-25 2318
1、题目 在FPGA中做小数乘法时，一般需要对定点小数量化处理。 量化过程中首先需要确定量化的位宽，位宽越大量化的精度越高。 如题所述，对12.918做无损定点化，首先需要确定对整数部分的量化位数。整数为12，无损量化必须采用4bit； 小数部分为0.918，假如采用12bit位宽，整数部分4bit，那么小数部分只有8bit。8bit所能表达的最大的整数为255（注意，定点小数在FPGA运算过程中是没有小数点的，比如12.918，实际存储的是12.918的二进制形式，所以8bit表示小数部分最大为
8位浮点数的表示法
申龙斌的程序人生
09-23 5226
32位浮点数的计算机内部表示是由IEEE754标准定义的，参考文献相当多。 简单来说，是由符号位、指数位（阶码）和小数部分共同定义的。 https://www.h-schmidt.net/FloatConverter/IEEE754.html IEEE754规范中只定义了32位(float)和64位(double)浮点的表示法，好像还有扩展的16位、128位的浮点数表示法，但用的场景不多。 8位浮点数表示法，并没有相关规范，详细内容搜索IEEE754规范，并仔细阅读。 /// +----+--------
Pytorch训练模型时遇到的数据类型问题
YS_jw的博客
04-17 585
利用pandas读取数据，类型不匹配怎么办？
代码之谜（五）- 浮点数（谁偷了你的精度？）
justJavaC的专栏
11-13 771
****光棍节加长版**** 如果我告诉你，中关村配置最高的电子计算机的计算精度还不如一个便利店卖的手持计算器，你一定会反驳我：「今天写博客之前又忘记吃药了吧」。 你可以用最主流的编程语言计算 0.2 + 0.4，如果你使用的是 Chrome、FireFox、IE 8+，可以按 F12 键，然后找到 「控制台」，输入上面的 表达式 0.2 + 0.4，回车。 然后再用最简陋的计算器（如果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值