UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS

最新推荐文章于 2025-03-10 14:38:34 发布
最新推荐文章于 2025-03-10 14:38:34 发布
阅读量1.2k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JachinMa/article/details/104210619
版权
直通估计器(STE)在激活量化神经网络的训练中起到关键作用，解决了传统反向传播中激活函数导数近似为零导致的训练难题。文章介绍了STE的基本原理，通过定义简单的网络结构和损失函数，展示了STE如何通过可求导的μ函数导数替代激活函数的导数，使得网络可以进行训练。作者还探讨了不同STE变体的收敛性和性能，并通过实验验证了STE在不同输入分布和激活函数类型（如vanilla ReLU和clipped ReLU）下的效果，证明了其优化网络的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

STE作为一种方法已经被提出很久了，也出现了很多它的变体。但它在本质上，是用了一个与当前函数无关的梯度来代替原有的梯度，为什么这个朝着这个替代品的梯度下降的方向优化网络有用？面对已经提出的许多STE的变体，我们应该如何选取？本文的主要内容就是解决以上两个问题。

首先，作者定义了一个简单的网络：
在这里插入图片描述
其中Z是一个取样自(0,1)高斯分布的输入数据，w和v是权重，σ是二元的的激活函数：
在这里插入图片描述
标签的定义如下：
在这里插入图片描述
损失函数的定义如下：
在这里插入图片描述
由于在这里插入图片描述
，作者这里使||w*||等于1.于是优化目标变为：

最低0.47元/天 解锁文章
JachinMa
关注
DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
安静到无声
08-08 879
2. 方法 2.2 直通估计器 由低位宽kkk表示的实数集只有一个小的数集2k2^k2k。然而，从数学上讲，任何取值范围较小的连续函数相对于其输入都必然具有零梯度。我们采用“直通估计器”(STE)方法 (Hinton et al., 2012b; Bengio et al., 2013) 来规避该问题。可以将 STE视为具有任意前向和后向操作的运算符。 一个简单的例子是为概率为p/in[0,1]p /in [0, 1]p/in[0,1]的Bernoulli抽样定义的STE ...
论文总结：UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS
gcf_uinque的博客
02-29 2285
论文地址：https://arxiv.org/pdf/1903.05662.pdf 主要内容 像ReLU函数这种输出可能为0的情况下，反向传播时梯度为0，权重无法更新，所以出现了STE：令输入梯度等于输出梯度的阈值函数，不管其本身导数。接着就涌现出各种改造的STE。这样就产生了两个问题： 粗梯度(经过STE修改的损失函数的梯度)不是原本损失函数的梯度，那么沿其负方向搜索为何能降低训练损失？ 如何...
pytorch实现straight-through estimator（STE）
m0_37400316的博客
05-08 8652
现在深度学习中一般我们学习的参数都是连续的，因为这样在反向传播的时候才可以对梯度进行更新。但是有的时候我们也会遇到参数是离>散的情况，这样就没有办法进行反向传播了，比如二值神经网络。本文中讲解了如何用pytorch对二值化的参数进行梯度更新的straight-through estimator算法。 Question： STE核心的思想就是我们的参数初始化的时候就是float这样的连续值，当...
如何为不可导操作设计梯度？——聊聊 VQ-VAE 中的 Straight-Through Estimator（直通估计器）
最新发布
阿正的梦工坊
03-10 885
Straight-Through Estimator 是 VQ-VAE 成功的关键，它用一种简单而优雅的方式绕过了argmin不可导的问题。通过在前向传播和反向传播中使用不同的“代理”，它既实现了离散化的目标，又保证了梯度优化的可行性。
Pytorch笔记：STE（Straight Through Estimator）解决forward pass中的non-differentiable操作，以torch.round()为例
weixin_47967519的博客
10-24 556
在图像、模型压缩算法中往往涉及量化的操作。即将无限、连续的变量映射到有限、离散的空间中，方便存储和进一步计算。最后一步round()操作在反向传播的过程中是病态的， 因为round()函数的微分除了在x.500为inf外处处为0（x为任意整数）
ICML2023论文阅读记录 - Straightening Out the Straight-Through Estimator
RachelRicher的博客
05-14 948
ICML2023论文阅读记录 - Straightening Out the Straight-Through Estimator: Overcoming Optimization Challenges in Vector Quantized Networks
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9165
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
pytorch实现直通估计器（STE）
weixin_44615091的博客
04-03 1764
在此就不对原理做过多阐述了，原文中写的非常好，简而言之就是反向传播过程中应用Htanh函数的梯度结果替换前向传播过程中使用torch.sign的恒为零的梯度。我对链接作者写的代码稍有疑惑，
PyTorch梯度直通反传
新缸中之脑
06-20 1269
假设我们想使用以下函数将层的激活二值化：此函数将为每个大于 0 的值返回 1，否则将返回 0。如前所述，此函数的问题在于其梯度为零。为了解决这个问题，我们将在反向传递中使用直通估计器。直通估计器顾名思义就是它估计函数的梯度。具体来说，它忽略阈值函数的导数，并将传入的梯度传递，就好像该函数是恒等函数一样。下图有助于更好地解释它：你可以看到在反向传递中如何绕过阈值函数。就是这样，这就是直通式估计器的作用。它使阈值函数的梯度看起来像恒等函数的梯度。
深度学习算法优化系列十二 | 旷视科技 DoReFa-Net
I good vegetable a!
02-21 1542
摘要 继BNN和XorNet之后，这篇论文提出了DoReFa-Net，它是一种可以使用低位宽参数梯度来训练低位宽权重和激活值的卷积神经网络的方法。特别地，在反向传播传播阶段，参数梯度可以在传递到下一层卷积层之前被随机量化到低位宽。由于前向/反向阶段卷积都是在对低位宽权重和激活值/梯度上操作的，这样DoReFa-Net可以使用低位宽卷积核来加速训练和推理。并且，低位卷积可以在CPU，FPGA，AS...
VQ-VAE量子化自编码器介绍
Answer3664的博客
05-02 1916
VQ-VAE中一个很大的创新就是对离散的值进行求梯度，称为Straight-Through Estimator。 具体参考：https://spaces.ac.cn/archives/6760
声音生成项目（4）——从VariantAutoencoder（VAE）到VQ-VAE矢量量化变分编码器
Blackoutdragon的博客
06-11 1702
矢量量化的自动变分编码器的实现，包括具体的原理讲解，以及相关内容的讲解
模型压缩明珠：二值化网络
ZOMI酱
01-14 2311
相比于全精度（FP32）表示的神经网络，二值化可以用XNOR（逻辑电路中的异或非门）或者是简单的计数操作（pop Count），极其简单的组合来代替FP32的乘和累加等复杂的运算来实现卷积操作，从而节省了大量的内存和计算，大大方便了模型在资源受限设备上的部署。
ICLR 2019论文解读：量化神经网络
喜欢打酱油的老鸟
06-18 3044
https://www.toutiao.com/a6701879235964830212/ 今年五月举办 ICLR 2019 会议共接收论文 502 篇，本文将解读其中两篇有关量化神经网络的研究。 UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS https:/...
【ARXIV2105】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
OUC的搬砖日常
01-18 1379
论文：https://arxiv.org/abs/2105.02358 代码：https://github.com/MenghaoGuo/EANet B站视频：https://www.bilibili.com/video/BV1ug411M7kL 大部分内容来自论文作者 国孟昊 的B站视频，讲解的非常细致，强烈推荐 典型的 self-attention 计算方法如下图所示。 QQQ 和 KKK 相乘，使用 softmax 归一化，然一和VVV相乘，然后得到输出的特征，这个大家应该都相当熟悉了。 在实.
straight-through estimator
03-16
直通估计器（straight-through estimator）是一种在神经网络中用于处理离散变量的技术。它通过将离散变量的梯度设置为1来近似离散变量的梯度，从而使得神经网络可以处理离散变量。这种技术通常用于生成模型中，例如生成对抗网络（GAN）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值