关于深度学习中的数据结构INT\FLOAT\FP（为使用FP数据类型调用TensorCore的知识储备）

最新推荐文章于 2025-10-02 07:30:00 发布
原创 最新推荐文章于 2025-10-02 07:30:00 发布 · 2.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

  • 首先我们需要知道何为bits和bytes?

    bits:名为位数
    bytes:为字节
    简单的数就是MB和G的关系！那么8bits=1bytes，下面是各个单位的相互转化！
    (引用自https://blog.youkuaiyun.com/m0_43432638/article/details/89973862)
    *引用自https://blog.youkuaiyun.com/m0_43432638/article/details/89973862

  • INT - 也就是整数，比如INT8就是8bit整数，取值范围是-128~127也就是256（2^8）个数，
    （整数在内存中没什么符号位，区分正负只是为了软件需要）。
    那么为什么后来有INT16 INT32之类的呢？很简单，数值范围不够用了。
    在计算机上，8、16、32、64、128纯粹是因为首先它是二进制，其次数据容易对齐。在编程语言中，不同数据类型并没有强制的使用环境，比如你定义变量是一个8bit数还是32bit数只要够用都可以，只不过数据长度太长占内存。

  • FLOAT、TF FLOAT32

    半精度（16）、单精度（32）、双精度（64）这些概念是在IEEE 754标准里定义的，浮点计数是利用浮动小数点的方式使用不同长度的二进制来表示一个数字，与之对应的是定点数。同样的长度下浮点数能表达的数字范围相比定点数更大，但浮点数并不能精确表达所有实数，而只能采用更加接近的不同精度来表达。单精度的浮点数中采用4个字节也就是32位二进制来表达一个数字，双精度浮点数采用8个字节也就是64bits来表达，当然半精度浮点数也就是采用16bits了。因为采用不同位数的浮点数的表达精度不一样，所以造成的计算误差也不一样，对于需要处理的数字范围大而且需要精确计算的科学计算来说，就要求采用双精度浮点数，而对于常见的多媒体和图形处理计算，32位的单精度浮点计算已经足够了，对于要求精度更低的机器学习等一些应用

最低0.47元/天 解锁文章
深度学习中的量化技术：INT4、INT8、FP8、FP16、FP32 详解
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
02-16 5473
量化是指将模型的权重和激活值从高精度格式（如 FP32）转换为低精度格式（如 INT8 或 FP16）的过程。量化的主要目的是减少模型的存储空间和计算复杂度，同时尽量保持模型的性能。量化技术是深度学习中提升模型效率的重要手段。通过将模型的权重和激活值从高精度格式转换为低精度格式，可以显著减少模型的存储空间和计算复杂度。常见的量化格式包括 FP32、FP16、FP8、INT8 和 INT4，每种格式都有其优缺点和适用场景。如果你对量化技术感兴趣，或者在实际应用中遇到问题，欢迎在评论区留言，我会及时为你解答。
CUDA Tensor Core 基础操作
shangjg3的博客
06-16 1021
摘要：NVIDIA TensorCore是GPU中专门加速矩阵运算的硬件单元，可显著提升深度学习训练和推理性能。本文详细介绍了TensorCore的核心特性、编程方法和优化技巧，包括：(1)支持Volta、Turing和Ampere等架构；(2)提供FP16、TF32等多种精度支持；(3)通过cuBLAS或WMMA API进行编程；(4)矩阵维度对齐、内存访问优化等关键技巧。文章还对比了不同精度模式的应用场景，并给出性能评估工具和优化建议，为开发者充分利用TensorCore提供实用指导。
FP32、FP16 和 INT8
leoatliang的博客
07-05 9804
FP32、FP16 和 INT8
TensorRT教程17： 使用混合精度--fp32、fp16、int8（重点）
米斯特龙的博客
07-25 1万+
TensorRT 使用混合精度 五种精度类型 kFLOAT //!< FP32 format. kHALF //!< FP16 format. kINT8 //!< INT8 format. kINT32 //!< INT32 format. kTF32 //!< TF32 format. TF32精度 TF32 Tensor Cores 可以使用 FP32 加速网络，通常不会损失准确性。 对于需要高动态范围权重或激活的模型，它比 FP16 更健壮。 在构建引擎时设置
小白也能懂！INT4、INT8、FP8、FP16、FP32量化
热门推荐
m0_59163425的博客
02-14 2万+
量化就像是把一幅高精度的画变成一幅低精度的画，但尽量让它看起来还差不多。在计算机的世界里，量化是指将模型中的数据从高精度表示转换为低精度表示。比如，把 FP32（32 位浮点数）转换成 FP16（16 位浮点数）或 INT8（8 位整数）。FP32 是一种高精度的浮点数，它有 1 位符号位、8 位指数位和 23 位尾数位，总共 32 位。它可以表示非常大和非常小的数，就像一把非常精确的尺子，但缺点是占用的存储空间大，计算速度慢。
深度探究深度学习常见数据类型INT8 FP32 FP16的区别即优缺点
weixin_57672347的博客
11-12 8214
相对于FP32提供了较低的精度,按照理论来说可以跑机器学习这些任务，但是FP16会出现精度溢出和舍入误差，所以很多应用都是使用混合精度计算的也就是FP16+FP32模式。双精度FP64 :浮点数使用64位表示，提供更好的精度和动态范围。单精度FP32：浮点数使用32位表示，适用于大多数科学计算和通用计算任务。固定点数INT8：固定点数使用固定的小数点位置来表示数值，可以使用定点数算法进行计算。后面的数字越高意味着精度越高能够支持的运算复杂度也就越高 适配场景也就越广，同样对推理端的计算资源要求也就越高；
Tensor Core 深度剖析
chinansa的博客
11-09 1388
例如，随着半导体工艺的进步，芯片的集成度不断提高，能够在相同的面积上集成更多的 Tensor Core，从而提高整体的计算能力。矩阵乘法的并行计算：在深度学习中，矩阵乘法是最常见的计算操作之一，Tensor Core 通过优化矩阵乘法的执行方式，实现了更高的计算效率和更低的资源占用。高性能计算（HPC）：在物理模拟、气候模型等高性能计算领域，需要大量的浮点数计算和矩阵运算，Tensor Core 提供的高效混合精度计算能力可以显著加速这些应用的执行速度，为科学研究和工程计算提供强大的计算支持。
深入理解混合精度训练：从 Tensor Core 到 CUDA 编程
旷视开发者技术社区
12-20 3719
背景近年来，自动混合精度（Auto Mixed-Precision，AMP）技术在各大深度学习训练框架中作为一种使用简单、代价低廉、效果显著的训练加速手段，被越来越广泛地应用到算法研究中。...
【深度学习|学习笔记】详细论述为什么构建深度学习模型需要使用GPU？应该如何调用GPU（二）
最新发布
2401_89898861的博客
10-02 1144
【深度学习|学习笔记】详细论述为什么构建深度学习模型需要使用GPU？应该如何调用GPU（二）
FP16（半精度浮点数）、FP32（单精度浮点数）和INT8
Learning by doing
03-05 5246
在深度学习和计算机视觉领域中，FP16（半精度浮点数）、FP32（单精度浮点数）和INT8（8 位整数）是常见的数据类型或精度表示方式。它们在不同的场景下有各自的优势和用途。从内存占用上来说：INT8 < FP16 < FP32。从精度上来说: FP32 > FP16 > INT8。
8位16进制转浮点数 转FP
06-27
8位16进制转浮点数 数值为42480000（IEEE 浮点'数）。IEEE 浮点数的格式如下：位31 = 符号，位23 至位30 = 阶，位0 至位22 = 尾数，用十进制数表示时是:数值=（（-1）的'符号'次幂）x（2 的（阶-127）次幂）x1.（尾数）。
FP16与INT8
weixin_43795765的博客
10-02 9124
AI计算中的两种数据格式 FP16和INT8同为端侧AI计算深度学习模型中的常用数据格式，在不同的AI应用中具有独特优势 什么是FP16呢？ 在计算机语言中，FP32表示单精度浮点数，相应的FP16就是半精度浮点数。与FP32相比，FP16的访存消耗仅为1/2，也因此FP16是更适合在移动终端侧进行AI计算的数据格式。 相比INT8，FP16浮点计算在终端侧的体验优势非常明显，尤其在需要更高精度图像处理的场景，能够实现更高精度的“抠图”。如今，AI拍照、AI视频等已经成为人们记录生活的智慧助手，高精度带来
FP(代表浮点运算数据格式，包括双精度（FP64）、单精度（FP32）、半精度（FP16）以及FP8等
qq_15821487的博客
10-10 2700
FP(代表浮点运算数据格式，包括双精度（FP64）、单精度（FP32）、半精度（FP16）以及FP8等，INT代表整数格式，包括INT8、INT4等。总的来说，后面的数字位数越高，意味着精度越高，能够支持的运算复杂程度就越高，适配的应用场景也就越广。
Tensorflow（一） —— 数据类型
Cyrus_May的博客
04-06 1108
Tensorflow（一） —— 数据类型1 主要的数据类型2 Tensor的种类3 基本数据类型4 创建数据类型实例4.1 创建 int类型4.2 创建float类型4.3 类型使用不当4.4 创建布尔类型4.5 创建字符串类型5 Tensor常见属性5.1 device属性5.2 CPU和GPU转移5.3 Tensor转化为numpy:5.4 形状和维度5.5 判断一个对象是否为Tensor5.6 查看数据类型5.7 数据类型判断6 数据类型之间的相互转换6.1 numpy转tensorflow6.
fp32和int8模型的区别_模型压缩入门
weixin_33632843的博客
01-12 2059
本教程介绍了模型压缩的三大方法：剪枝、蒸馏、量化，最终在pc端完成部署。这些方法均采用各领域的经典思路来实现，剪枝部分(BN剪枝、直接减通道)、蒸馏部分(参考Hinton论文)、量化(MNN离线量化)。教程的目的是帮助自己快速在模型压缩领域入门，通过实验体会剪枝、蒸馏、量化的效果，并在模型调试方面积累经验。模型压缩核心：先缩小模型尺寸，再补偿下降的精度实验模型：VGG16，ResNet34数据集：...
float16，fp16计算、表示范围、数据精度/间隔详解
爱串门的小马驹博客
11-25 7262
Float16，也被称为FP16或半精度浮点数，是一种用于表示浮点数的数据类型，在计算机科学中广泛应用于各种领域。
基本数据类型(byte、short、int、long)和引用数据类型(class)
小丁的博客
07-25 5245
Java数据类型分为基本类型和引用类型。基本类型包括4类8种：整型（byte、short、int、long）、浮点型（float、double）、字符型（char）和布尔型（boolean）。整型变量默认int，声明long需加"L"后缀；浮点型默认double，声明float需加"F"后缀，但存在精度问题。字符型使用Unicode编码（2字节），支持转义字符和数值表示。布尔型仅取true/false值。注意数据类型范围与字节数并非完全相关，如float（4字节）范围
深度学习模型精度与PyTorch模型量化
关于我的学习记录
12-19 1万+
深度学习模型精度与PyTorch模型量化
FP16\FP32\INT8\混合精度的含义
pangxing6491的博客
09-08 1万+
精度解析
我有个张量类型是fp32，如果继续使用float()方法，会变成什么类型的
09-19
在深度学习框架如PyTorch中，当张量的原始类型为fp32（即32位浮点数，`torch.float32`）时，调用`.float()`方法后，张量的类型**不会改变**，仍然是fp32（`torch.float32`）。原因如下： - `.float()`方法在PyTorch...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值