【知识星球】模型量化从1bit到8bit,二值到三值

实验四——DPCM编码(1bit、2bit、4bit、8bit量化) 一.实验要求 本实验的目标是验证DPCM编码的编码效率。首先读取一个256级的灰度图像,采用自己设定的预测方法计算预测误差(本次实验报告使用左向预测),并对预测误差进行8比特均匀量化(基本要求)。还可对预测误差进行1比特、2比特和4比特的量化设计(提高要求)。 在DPCM编码器实现的过程中可同时输出预测误差图像和重建图像。将预测误差图像写入文件并将该文件输入Huffman编码器,得到输出码流、给出概率分布图并计算压缩比。将原始图像文件输入Huffman编码器,得到输出码流、给出概率分布图并计算压缩比。. 阅读详情

欢迎大家来到《知识星球》专栏,这里是网络结构1000变小专题,模型量化是当前工业界的核心技术,我们最近在知识星球更新相关的内容。

作者&编辑 | 言有三

1 1bit量化-二值网络

所以1bit量化就是二值量化,取值为0/1或者1/-1,下面是一个案例。

有三AI知识星球-网络结构1000变

Binarized Neural Networks

640?wx_fmt=png

Binarized Neural Networks是一个二值量化模型,权重和激活值取值只有1和-1。

作者/编辑 言有三

Binarized Neural Networks是一个典型的二值量化模型,权重和激活值取值只有+1或者-1。

将权重和每层的激活值全部二值化的方法有两种方法。第一种就是符号函数,即x>0,则f(x)=1,x<0,则f(x)=-1。另一种是以一定的概率赋值,类似于Dropout。Binarized Neural Networks就是在激活函数时采用第二种二值化方法,其余都采用符号函数赋值。

针对符号函数的导数并不连续,无法进行梯度传播的问题,该网络方法将sign(x)进行松弛,在-1到1之间采用了线性函数f(x) = max(-1,min(1,x))。

二值网络在训练过程中还是需要保存实数的参数的。在进行权重参数更新时,裁剪超出[-1,1]的部分,保证权重参数始终是[-1,1]之间的实数。在使用参数时,将参数进行二值化。

在MNIST,CIFAR-10等数据集上实验精度稍微有所下降但不明显,模型大学降低为原来的1/32,32bit的float变成1 bit。对于时间代价,作者的优化将速度相对于cublas提升了约3.4倍,而精度不变。类似其他研究不做过多介绍了。

640?wx_fmt=png

[1] Courbariaux M, Hubara I, Soudry D, et al. Binarized neural networks: Training deep neural networks with weights and activations constrained to+ 1 or-1[J]. arXiv preprint arXiv:1602.02830, 2016.

其他的二值网络还有BinaryConnect,XNOR Net等,会在知识星球中更新。

2 2bit-三值网络

只有1和-1两种值或许不够,如果再加上0就可以构成三值网络,还不增加计算量。

有三AI知识星球-网络结构1000变

Ternary weight networks

640?wx_fmt=png

Ternary weight networks是一种量化网络,它将权值量化为3阶,即包括1,-1,0三种数值,能取得高达32倍的压缩率,性能接近全精度的网络。

作者/编辑 言有三

Ternary weight networks的原理非常简单,它比二值化网络多了一阶权重,而且这多出来的一阶权重还不增加计算量。

具体的实现是通过最小化全精度权值W和三元权值W_t之间的欧氏距离,如上图,n是卷积核的数量。

实际上我们不直接求解上面的问题获得W_t,而是采用下面的方法进行映射。

640?wx_fmt=png

即求得一个阈值∆进行分段映射,∆的求取式子如下,具体推导可以见文章:

640?wx_fmt=png

当然训练的时候只在前向和后向过程中使用量化,但是参数的更新仍然是使用连续的权值,这也是量化网络常用的技巧。

640?wx_fmt=png

在各大数据集上使用ResNet18网络的性能如上,精度优于二值网络BinaryConnect,XNOR-Net等,略低于全精度网络。

[1] Li F, Zhang B, Liu B. Ternary weight networks[J]. arXiv preprint arXiv:1605.04711, 2016.

3 8bit网络

8bit网络是最常见的量化方法了,有一些成熟的工具可以在训练完成之后做量化,不过我们这里还是关注在训练的时候直接完成这个过程。

有三AI知识星球-网络结构1000变

Integer-Arithmetic Network

640?wx_fmt=png

本文是一个8 bits量化网络框架,可以在训练的时候直接训练量化模型而无需在训练后进行量化,它在MobileNets等紧凑模型上都取得了很好的效果。

作者/编辑 言有三

整数和浮点数的具体变换公式如下:

640?wx_fmt=png

其中S,Z都是量化参数,Z就是对应实数0的量化值,S是一个浮点数因子。q就是量化的整数,r是浮点数,对于不同的矩阵,可以使用不同的量化参数,比如权重使用8bit量化,偏置使用32bit量化。

常见的量化网络的方式是,先使用浮点数进行训练,训练完之后再把权重等进行量化,有的再加上微调。作者们认为这种方式在大模型上效果是很好的,但是对于小模型有较大的精度损失。

因为它们采用的方案是在训练中完成量化,前向传播中使用量化,反向时仍然按照全精度的浮点进行计算,具体来说:

(1) 权重在卷积前量化,如果使用了batch normalization则将其与权重合并。

(2) 激活值在即将被后面的神经元使用时再量化,即在激活函数之后。

640?wx_fmt=png

每一层的具体量化公式如下:

640?wx_fmt=png

n是量化阶数,对于8bit就是256,a,b就是最大最小值,权重和激活的取值方法略有不同,可以查看原文细节。

结果如下:

640?wx_fmt=png
640?wx_fmt=png

与全精度模型以及二值,三值模型比较,精度介于全精度和二值,三值模型之间。

640?wx_fmt=png

上图展示了在同样的计算时间下,MobileNets量化模型能够取得比浮点型模型更好的结果。

[1] Jacob B, Kligys S, Chen B, et al. Quantization and training of neural networks for efficient integer-arithmetic-only inference[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2704-2713.

更多量化和剪枝的内容请移步有三AI知识星球。

640?wx_fmt=jpeg

4 关于有三AI知识星球

有三AI知识星球是我们继公众号之后重点打造的原创知识学习社区,有需要的同学可以阅读下文了解生态。

大家可以预览一些内容如下,添加有三微信Longlongtogo加入可以优惠30元。

640?wx_fmt=png
640?wx_fmt=jpeg
640?wx_fmt=jpeg
640?wx_fmt=jpeg
640?wx_fmt=jpeg
640?wx_fmt=jpeg
640?wx_fmt=jpeg
640?wx_fmt=jpeg
640?wx_fmt=jpeg

以上所有内容

加入有三AI知识星球即可获取

来日方长

点击加入

不见不散

更多精彩

每日更新

640?wx_fmt=jpeg

转载文章请后台联系

侵权必究

640?wx_fmt=png
1-bit量化革命:BitNet如何重塑AI模型效能 摘要:量化感知训练(QAT)通过将模型权重和激活值从高精度压缩为低精度(如1-bit),实现模型压缩和推理加速,但面临精度损失和梯度离散化等挑战。BitNet系列从初始1-bit模型逐步优化,到实现全量化架构、动态量化机制和多模态泛化,最终在保持精度的同时大幅降低计算量。未来研究方向包括长序列建模、参数高效微调、硬件协同设计和理论分析,以进一步释放1-bit模型的潜力。 阅读详情

相关推荐

1比特量化与压缩感知:理论与应用的深入解析

本文还有配套的精品资源,点击获取 简介:在数字信号处理领域,1比特量化和压缩感知是处理大数据和资源受限情况下的关键技术。1比特量化通过将信号转换为二进制形式,减少存储需求但增加信息丢失。压缩感知通过少数测量重建高维信号。结合这两种技术,为数据存储和传输提供了高效的方法。本课程深入探讨了1比特量化、1比特压缩感知以及FPC、AOP、CoSaMP等算法的实现与应用,旨在提升学生...

weixin_30533301的博客 1828

1bit quantization (1-bit SGD & 1-bit Adam)

原论文:1-Bit Stochastic Gradient Descent and its Application to Data-Parallel Distributed Training of Speech DNNs 该文的核心思想就是将32位单精度浮点数压缩成1位,从而降低训练过程的数据交换开销。为了进一步降低通信开销,作者设定在节点间只进行梯度的交换,不进行模型参数的交换。为了降低量化误差带来的负面影响,作者使用了误差补偿技术:每次量化时,把上一次迭代的量化误差加到本次迭代的梯度上,然后再进行量化.

smartcat2010的博客 1472

运放偏置电路设计:如何精准计算差分放大器的电压偏移量

本文深入解析了差分放大器偏置电路的设计原理与精准计算方法,重点阐述了如何通过引入参考电压实现信号电压偏移,以适应单电源ADC的输入范围。文章结合实战案例,详细推导了偏移电压公式,并强调了电阻匹配、运放选型及PCB布局对精度和共模抑制比的关键影响,帮助硬件工程师避免常见设计陷阱。

weixin_29288313的博客 638

1-bit 量化:在计算机上运行数万亿参数的模型

1-bit量化为超大规模模型的普及和使用提供了新的可能性,通过降低存储需求而不显著降低模型性能,这一技术有助于推动更多AI应用的落地。随着研究的深入和技术的发展,预计在未来将会有更多高效的量化策略涌现,继续推动这一领域的进步。

XianxinMao的博客 928

Python+OpenCV实战:5分钟搞定机械臂手眼标定(眼在手上模式)

本文详细介绍了使用Python和OpenCV在5分钟内完成机械臂手眼标定(眼在手上模式)的实战教程。通过解析相机坐标系与机械臂基坐标系的转换关系,提供从数据采集到标定矩阵计算的全流程代码实现,帮助开发者快速解决AX=XB问题,提升机械臂视觉引导精度。

weixin_33670786的博客 500

「自然语言驱动生产力」23. 科研神器:DeepSeek+EndNote实现文献智能综述

摘要:传统文献综述面临周期长、漏检率高、数据整合繁琐等痛点,某985课题组数据显示,4人团队完成一篇综述平均需5个月,重要成果遗漏率达25%。本文提出基于DeepSeek+EndNote的智能综述方案,通过“自然语言解析→精准检索→智能筛选→自动生成”四步流程实现全自动化。核心技术包括检索式智能生成算法、文献优先级评分模型、可视化图表自动生成工具及结构化综述框架引擎。实际应用中,文献调研周期从3-6个月缩短至2周,重要成果遗漏率降至3%以下,图表制作时间完全解放。某课题组采用该方案后,1人3周完成的综述被A

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1671

模型量化从1bit到8bit,二值到三值

转自:https://blog.youkuaiyun.com/u012101561/article/details/80868352 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.youkuaiyun.com/u012101561/article/details/80868352 现在“边缘计算”越来越重要,真正...

haima1998的专栏 7491

27930-2015+充电协议解析

对2015+充电与2015充电进行硬件电路对比、通信协议对比和2015+通信协议解析。

manjixingkong1234的专栏 242

【星球知识卡片】模型量化的核心技术点有哪些,如何对其进行长期深入学习...

大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型量化的核心技术点。作者&编辑 | 言有三 1 二值(1bit)量化二值量化是最高效率的量化方式,也可以称之为1bit...

hacker_long的专栏 908

【WRF工具】WRF Domain Wizard第一期:软件下载及安装

【WRF工具介绍】WRF Domain Wizard-确定模拟区域

WW、forever的博客 2918

AI智能体丨使用Coze一键生成中式养生视频,39 条作品涨粉 37.9 万!(附保姆级教程)

本文介绍如何利用扣子(Coze)AI智能体工作流高效制作中式养生短视频。该方案通过AI自动生成养生文案、古风插画素材、语音合成和视频剪辑,将传统制作流程从2-3小时缩短至1-2分钟。工作流包含文案创作、音频生成、图片素材制作和视频合成四大模块,采用大模型处理各环节内容,最终输出可直接导入剪映的草稿文件。特别适合希望快速批量制作文化氛围感强、兼具干货与视觉效果的养生内容创作者,效率提升近百倍。

李同学Lino的博客 3031

卡片的sak为不支持的类型_【星球知识卡片】模型量化的核心技术点有哪些,如何对其进行长期深入学习...

大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享模型量化的核心技术点。作者&编辑 | 言有三1 二值(1bit)量化二值量化是最高效率的量化方式,也可以称之为1bit量化,即将32位浮点数量化为1bit整型,非常适合FPGA等平台进行并行运算。二值量化模型以Binary Connect和Binarized Neural Networks为代表。2 8bit量化8bit量化是当前工业...

weixin_39550258的博客 995

在 SAP 中启用应收/应付“代扣税(Withholding Tax)”功能,本质上是激活并配置“扩展代扣税(Extended Withholding Tax)”模型

摘要:SAP中启用应收/应付代扣税功能需完成3个层级12个核心步骤:1)全局激活公司代码代扣税功能;2)配置代扣税规则、税率和科目,包括定义税种类型、代码、总账科目等;3)在供应商/客户主数据中关联代扣税设置。完成后系统可在发票或付款环节自动计算并过账代扣税,支持多税种并行计算和税率年度调整,最终生成税务报表。常见问题排查需检查公司代码激活状态和主数据配置。(149字)

金牌架构师 837

大模型工程化实战:从LoRA微调到部署的保姆级指南

大语言模型(LLM)已成为人工智能领域的核心技术,其核心原理基于Transformer架构,通过自注意力机制处理序列数据。在工程实践中,为了将通用大模型适配到特定领域或任务,参数高效微调技术(如LoRA)是关键,它通过引入少量可训练参数,在显著降低计算资源消耗的同时实现模型能力的定制化。LoRA微调的价值在于,它让研究者和开发者在有限算力下也能高效地优化模型,广泛应用于智能客服、代码生成、内容创作等场景。本文聚焦于大模型工程化的核心环节,详细拆解了基于LoRA的微调实战与模型部署流程,涵盖了从环境配置、参数

361

PCL 基于视椎体裁剪点云

PCL 基于视椎体裁剪点云

dayuhaitang1的博客 4085

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

量化&二值网络概述

二值化网络前言部分本文引用【Binary Neural Networks: A Survey 】的观点,后续其他内容根据实际进行补充 背景 二值网络大幅度的节省了内存和计算量,以便在资源有限的设备上部署深度学习模型。然而,二值化势必会导致信息丢失,并且更糟糕的是,其不连续性给深度模型优化带来了困难。为了解决这些问题,大量的算法被提出,并在近几年取得了一定的进展。本文针对这些算法进行了一个综合性的调研,主要分为以下几类:原始解决方案二值化,以及使用最小化量化误差、改进网络损失函数和减少梯度误差。我们也调查了二

weixin_44287798的博客 1207

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

二值量化

原文链接:https://www.yuque.com/yahei/hey-yahei/binary_quantization 最近号称达到MobileNet水平的二值网络MeliusNet面世,趁这个机会顺便梳理一下二值量化的发展历程吧。 参考: 《MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy? (2...

hey-yahei 3736

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

低资源大模型部署探索:1-bit量化技术与CPU分布式推理实践

如何在普通服务器环境下实现千亿参数模型的高效推理?本文将深入探讨1-bit量化技术的底层原理,提供基于BitNet框架的CPU分布式推理解决方案,帮助开发者突破硬件限制,实现低资源大模型部署。通过多节点模型分片技术,普通服务器也能轻松应对大模型推理挑战,为AI部署提供经济高效的实践路径。 ## 为什么1-bit模型能在CPU运行?——量化技术的颠覆性突破 ### 从32位到1位:模型压缩的极限

gitblog_00976的博客 744

1-bit量化大模型BitNet端侧部署实战与优化

模型量化作为深度学习部署的核心技术,通过降低参数精度来减少计算资源消耗。1-bit量化作为极致压缩方案,采用±1二值表示权重,配合可学习缩放因子保持模型表达能力。BitNet创新性地设计了二进制矩阵乘法核,利用XNOR+popcount位运算实现高效计算,在ARM架构移动设备上可获得20倍加速比。该技术显著降低了LLM的部署门槛,使7B参数大模型能在8GB内存手机运行,为端侧AI、移动推理等场景提供新可能。实践表明,通过权重二值化、内存优化和算子融合等技术,可在树莓派等设备实现毫秒级推理延迟。

weixin_42524499的博客 291

参数量13B模型全方位碾压GPT-4?这背后有什么猫腻

©作者 |陈萍来源 |机器之心你的测试集信息在训练集中泄漏了吗?一个参数量为 13B 的模型竟然打败了顶流 GPT-4?就像下图所展示的,并且为了确保结果的有效性,这项测试还遵循了 OpenAI 的数据去污方法,更关键的是没有发现数据污染的证据。如果你细细查看图中的模型,发现只要带有「rephraser」这个单词,模型性能都比较高。这背后到底有何猫腻?原来是数据污染了,即测试集信息在训练集中遭...

Paper weekly 469

模型压缩之量化入门笔记||量化基本公式的理解||量化过程可视化||LSQ公式理解

本人初入模型量化的坑,对量化的一些过程还不是很理解,于是做了一些可视化的小实验,来帮助更好地理解公式。

Mr_Menace的博客 3907

神经网络模型二值量化综述2020

BNN综述2020 https://mp.weixin.qq.com/s/QGva6fow9tad_daZ_G2p0Q 量化综述2018 https://www.jiqizhixin.com/articles/2018-06-01-11 https://chenrudan.github.io/blog/2018/10/02/networkquantization.html ...

qq_35608277的博客 1761

神经网络二值量化——ReActNet

神经网络二值量化——ReActNet摘要动机方法二值基准网络结构泛化`Sign`和`PReLU`函数图示&公式代码优化分布损失公式代码训练策略实验结果消融实验可视化可学习的系数可视化激活分布可视化 本文为香港科技大学与卡内基·梅隆大学联合发表在ECCV2020。本文作者同系MetaPruning与Bi-RealNet的作者。本文基于二值网络训练精度低的问题,提出了三点优化,分别为重构二值网络结构,泛化传统的Sign和PReLU函数,分别表示为RSign和RPReLU和采用了一个分布损失来进一步强制

u012347027的博客 3967

解读大语言模型量化

在今日这个由数据驱动的时代,人工智能技术的快速发展正不断拓展着社会和技术的边界。随着大语言模型应用的深入人心,我们对大语言模型的部署和效率提出了更高的要求。

2401_82469710的博客 4917

一文带你快速了解大模型量化

简单来说,量化的核心是“精度转换”:把大模型中原本用高精度格式存储和计算的数据(比如FP32、FP16,也就是32位、16位浮点数),转换为低精度格式(比如INT8、INT4,也就是8位、4位整数,或FP8浮点数)。我们可以用一个直观的例子理解:原本描述模型参数需要“精确到小数点后8位”(对应FP32),量化后只需要“精确到小数点后2位”(对应INT8),虽然牺牲了一点点精度,但存储和计算的效率会大幅提升。

sinat_20277079的博客 1947
上一篇: 【AutoML】如何选择最合适的数据增强操作
下一篇: 【NLP-NER】什么是命名实体识别?
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值