关于量化原理的思考

本文探讨了神经网络量化过程中的难点,特别是对于非零偏移量的量化转换如何实现逆变换的问题,并提出了类比原子量的概念来理解量化过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

模型部署过程中遇到问题最多的是量化环节,最复杂的,也是量化。我接触神经网络的时间不算长,接触量化就更短了,但是从第一次了解量化这个概念起,就有一个问题深深的困扰着我,简单描述如下。

首先描述一下我对量化的认知:

  1. 量化是个访射变换,将x变换为 px+q, y量化为mx+n.
  2. 在n,q不为0的情况下,量化后的数据如何反量化回去呢?看公式,根据量化得到的二次式反推xy是很困难的,总会有一次项存在.
  3. 量化类似于给视频打码,只要不是全屏马赛克,经历过青春期训练的你是一定能脑补出细节来的.

已经同时请教了四位算法专家,等候答复中。。。。。

附:

参考NCNN的量化逻辑,它是对称量化,比较好做

这张图有个地方应该是画错了:

流程图:

类比概念-原子量

原子量即相对原子质量,它是一种计算原子质量的方式,由于原子的实际质量很小,如果人们用它们的实际质量来计算的话那就非常的麻烦,例如一个氢原子的实际质量为1.674×10⁻²⁷千克,一个氧原子的质量为2.657×10⁻²⁶千克。一个碳-12原子的质量为1.993×10⁻²⁶千克。元素的相对原子质量是其各种同位素相对原子质量的加权平均值。利用原子量进行计算,相当于分子分母都乘以相同的数字,结果不变。


结束!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

papaofdoudou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值