机器学习笔记 - 什么是模型量化压缩技术？

最新推荐文章于 2025-03-14 19:51:26 发布
最新推荐文章于 2025-03-14 19:51:26 发布
阅读量398 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 人工智能 神经网络 模型量化 边缘设备 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/134699268
本文介绍了AI模型量化的概念，旨在减小模型大小、提升计算速度和降低功耗。通过将浮点数转换为整数，尤其是对边缘设备上的部署，量化能有效解决存储、计算和功耗问题。量化计算包括对称和非对称方法，其目标是在保持模型性能的同时减少精度损失。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、简述

        我们都知道现实世界是连续的状态，而计算机世界是离散的状态，这是什么意思呢？我们看一下下图，最右边的马力欧（高清）的状态，可以想象现实世界是连续的状态，而电脑世界在图像上呈现的是一格一格子的状态（左图）是离散的状态。

        所以在计算机世界如果想要图片越清晰，最简单的方式就是图的格子的数量要越多越好。

        对于AI模型也同样道理，我们可以将AI模型想成是800万画素的图片，有没有办法将AI模型弄成30万画素，然后人眼还看不出差异呢。

        最简单的方法就是把模型的浮点数换成整数，float转换integer，就是量化概念的核心（不过不光是浮点数转整数，还有单精度转半精度等等，这里用整数，就是为了简化概念说明）。浮点转整数，就是123.456789取整数(或者4舍5入)，变成123。

二、

了解本专栏 订阅专栏 解锁全文
深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）
haopinglianlian的博客
11-30 3513
本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。
机器学习笔记 - 什么是向量嵌入？及向量嵌入​在机器学习中的使用
学以致用 知行合一
08-12 677
权重的优化方式是，与具有不同标签的图像相比，具有相同标签的图像嵌入得更近。现在，给定一个新的未见过的图像，我们可以使用 CNN 模型对其进行转换，检索其 k 个最相似的向量，从而检索相应的相似图像。在推荐任务中，当对未见过的对象进行推荐时，推荐系统会寻找与所讨论的对象最相似的对象，通过它们与向量嵌入的相似性来衡量。换句话说，当我们将现实世界的对象和概念（例如图像、录音、新闻文章、用户配置文件、天气模式和观点）表示为向量嵌入时，这些对象和概念的语义相似性可以通过接近程度来量化它们彼此作为向量空间中的点。
模型压缩——量化方法解读
golfxiao的专栏
11-29 1818
线性量化（也称为标准的8-bit量化）是将原始浮点数据和量化后的定点数据之间建立一个简单的线性变换关系，这样做可以减少存储和计算的复杂度，同时尽量保持原始数值的信息。聚类的过程是一个循环迭代不断寻找最优聚类中心的过程，初始的聚类中心是随机选择的，算法会计算数据点与每个聚类中心的距离，目的是将数据点分配到距离其最近的聚类中心。
【技术解析】模型量化压缩
seawithtown的博客
02-22 3031
随着深度学习技术渗透入越来越多领域，人工智能在边缘侧的大规模应用被提上日程。尤其这两年人工智能-计算机视觉方向在安全生产、工业质检、智能硬件等应用场景中在广泛应用，这些应用场景往往对性能及数据安全有苛刻的要求，故而在边缘计算、移动终端、嵌入式终端的产品落地也随之进入白热化阶段。 终端落地很重要的两个指标依旧是推理时间和存储开销。网络模型压缩的需求越来越大，模型量化应运而生。本篇我们将探讨模型量化的概念原理、优缺点及EasyDL-EasyEdge模型量化的实现方法。 什么是量化 所谓量化，就是把模.
量化模型压缩: 一种高效的神经网络压缩方法
AI天才研究院
12-31 1336
1.背景介绍 深度学习模型在近年来取得了显著的进展，尤其是在图像识别、自然语言处理等领域的应用中取得了令人印象深刻的成果。然而，随着模型的增加，训练和推理的计算成本也随之增加。这使得部署和运行深度学习模型成为挑战。因此，模型压缩技术成为了研究的重要方向。 量化模型压缩是一种高效的神经网络压缩方法，它通过对模型参数进行量化来减小模型的大小，从而降低计算成本。在这篇文章中，我们将讨论量化模型压缩的...
神经网络量化压缩学习笔记
lankuohsing的博客
02-15 1117
文章目录0. 前言1. 量化压缩方法简介2. 量化压缩原理2.1. 定点数与浮点数 https://jackwish.net/2019/neural-network-quantization-introduction-chn.html https://zhuanlan.zhihu.com/p/149659607 0. 前言 近年来，基于神经网络的深度学习在图像处理、自然语言处理、语音识别等领域取得了显著效果。一般情况下，一个神经网络模型越大（一般指参数量越大），模型的拟合能力更强，准确度越高。这将进一步导.
一文详解！模型压缩四剑客：量化、剪枝、蒸馏、二值化
2301_76168381的博客
03-05 1565
随着深度学习的飞速发展，模型的规模和复杂度也在不断攀升。以 GPT-175B 为例，它拥有 1750 亿参数，至少需要 320GB 的半精度（FP16）格式存储空间，推理时至少需要五个 A100 GPU，每个 GPU 配备 80GB 内存。如此庞大的模型虽然性能强大，但对硬件资源的要求极高，极大地限制了其在实际场景中的应用。例如，在嵌入式设备、移动设备等资源受限的环境中，这些设备的算力和内存有限，无法直接运行如此庞大的模型。
大模型学习笔记------什么是大模型
gz7seven
10-31 1370
本文主要介绍大模型的发展历程、特点、应用领域、面临的挑战等
机器学习笔记 - 深入了解TensorFlow模型优化工具包
学以致用 知行合一
10-26 1356
TensorFlow 模型优化工具包是一套用于优化 ML 模型以进行部署和执行的工具。TensorFlow 模型优化工具包 (TF MOT) 支持的不同模型优化技术。该工具包支持用于：降低云和边缘设备（例如移动设备、物联网）的延迟和推理成本。将模型部署到对处理、内存、功耗、网络使用和模型存储空间有限制的边缘设备。为现有硬件或新的专用加速器启用执行和优化。使用以下命令安装 TensorFlow 模型优化工具包。
模型压缩与量化技术
AI天才研究院
10-09 1011
近几年随着移动端设备性能的提升和硬件算力的增长，深度学习模型的训练已经越来越受到计算机视觉、自然语言处理等领域的需求驱动。但是随之而来的任务是在准确率、推理速度和资源占用三个方面对模型进行压缩与量化，以便满足更广泛的部署环境。模型压缩（model compression）是指通过一些手段将模型体积减小，并在一定程度上保持其精度，从而减少内存、计算资源、网络带宽等方面的压力，进而实现模型在不同应用场景下的快速部署和推理。
模型压缩与量化
qq_41883755的博客
08-02 2148
模型压缩目的是减少网络参数量；模型加速的目标则是降低计算复杂度。 模型压缩和加速可以通过多种方式来实现。 首先是针对网络结构本身进行优化改进，常见的如使用3x3的小卷积核取代大卷积核；average-pooling取代了full-connection layers；MobileNets中使用depth-wise convolution替代传统的卷积方式等。 除了根据人工经验和数学模型设计的特有算子结构外，还包括模型剪枝、量化、蒸馏方法。剪枝方法去除神经网络结构中不重要的部分；量化方法则是调整网络结构中的权重
量化及定点化模型压缩常见方法、特定及优缺点整理
lqfarmer的博客
06-05 1633
模型压缩简答说就是将庞大的深度学习模型进行压缩，常见方法包括五大类，分别是剪枝、量化、正则化、知识蒸馏、条件计算。 量化是模型压缩常用方法之一，本文不完全包括了一些神经网络Fixed-Point Training（定点化训练）相关的方法进行了详细整理，拆分，并对优缺点进行了对比分析。 资源整理自网络，资源获取见源地址：https://github.com/A-suozhang/awesome-quantization-and-fixed-point-training ...
模型压缩方法：量化（Quantization）、剪枝（Pruning）、蒸馏（Knowledge Distillation, KD）、二值化（Binary Quantization）
最新发布
weixin_61911419的博客
03-14 932
深度学习模型日益庞大，给存储、计算和推理带来挑战。模型压缩技术旨在减少计算复杂度并加速推理，主要包括量化（Quantization）：降低参数精度（如 FP32 → INT8），减少存储需求并提升计算效率。剪枝（Pruning）：移除冗余权重或结构，使模型更轻量化。知识蒸馏（Knowledge Distillation）：让小模型学习大模型知识，在减少计算量的同时保持性能。二值化（Binary Quantization）：将权重和激活值限制为 0/1 或 -1/+1，大幅提升推理速度，适用于低功耗设备。
量化压缩：减少模型大小
AI天才研究院
11-28 792
量化压缩：减少模型大小 关键词：量化压缩、模型压缩、深度学习、算法优化、算法设计、性能评估 摘要：本文详细介绍了量化压缩技术，包括其背景、基本概念、分类、应用场景和优化方法。通过深入剖析量化压缩在深
模型压缩与量化: 了解并实现高效的神经网络压缩方法
AI天才研究院
12-23 1033
1.背景介绍 深度学习模型在过去的几年里取得了显著的进展，这些模型在图像识别、自然语言处理等领域取得了令人印象深刻的成果。然而，这些模型的复杂性也带来了一些挑战。首先，它们需要大量的计算资源来训练和部署，这使得它们在一些资源受限的环境中难以运行。其次，它们的参数数量很大，这使得它们在传输和存储方面非常不高效。因此，模型压缩成为了一个重要的研究方向，旨在减少模型的大小和计算复杂度，同时保持其性能。...
【模型压缩】（三）——量化
weixin_40620310的博客
04-07 3012
一、概述 量化： 剪枝是删除不重要的权重参数，量化则是减少存储权重的bit，将权重存储在更小的空间中； 权重不需要以高精度方式存储，甚至不应该以高精度方式存储； 如果用简单的量化方式效果并不好，需要一些训练量化参数的计较； 方法： 1、二值化 这是最简单的一种量化方式，就是用0-1两个值代替原来的参数值，往往能达到32倍的压缩程度；该方法能够大大提升模型的训练和推理速度，但性能明显下降；也可以采用一种二值化变体，就是用两个常量（C1和C2）来替代0-1两个值，阈值也可以修改； 缺点：损失精度过多，并且在
量化压缩论文：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
lankuohsing的博客
09-12 697
文章目录
网络压缩-量化方法对比
shuzfan的专栏
06-15 9242
本次介绍的是一种压缩神经网络模型大小的方法，来自《2014 arxiv：Compressing Deep Convolutional Networks using Vector Quantization》。该方法和很多之前的神经网络压缩方法一样，基本只对全连接层有效，因此这里权作了解。由论文名可以看出，主要是对密集权重矩阵进行量化编码来实现压缩。论文做了很多种量化方法的对比试验，不过都只针对全连接层
图像的基本有损压缩和无损压缩及解压
热门推荐
Mr_厚厚的博客
11-17 2万+
关键词：5-5-5，5-6-5，游长编码优化，图像压缩、解压 背景有损量化这里介绍从8-8-8到5-5-5和5-6-5的量化压缩原理及其编程实现。无损压缩这里基于游长编码算法(利用像素的重复)首先提出一种简单改进算法，即在图像的各通道上进行游长编码，利用各通道像素值得重复性分别进行压缩，一定程度上提高了压缩性，因为两个相邻像素虽然不同，但他们的某个通道可能会相同，这种方法简单高效，但适应性差，主要利
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值