三值网络--Trained Ternary Quantization

最新推荐文章于 2024-09-25 07:46:04 发布
原创 最新推荐文章于 2024-09-25 07:46:04 发布 · 1.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了新的三值网络，传统二值网络将权重量化为 +1、-1，三值网络 TWN 将权重量化为 {−W_l,0,+W_l }。正负权值通过网络学习得到，还给出了阈值计算公式。同时说明了在 CIFAR - 10 和 ImageNet 数据集上的阈值选择，以及模型量化训练的具体步骤。
部署运行你感兴趣的模型镜像

Trained Ternary Quantization
ICLR 2017
https://github.com/TropComplique/trained-ternary-quantization pytorch
https://github.com/buaabai/Ternary-Weights-Network pytorch

传统的二值网络将权重 W 量化为 +1、-1； 三值网络 TWN (Ternary weight networks) 将权重W 量化为 {−W_l ,0,+W_l }
在这里插入图片描述
阈值的计算公式如下所示
在这里插入图片描述
本文提出了新的三值网络
在这里插入图片描述
positive and negative weights，三个不同的值用于表示三值网络，这个正负权值是通过网络学习得到的
对应的梯度计算如下
在这里插入图片描述
在这里插入图片描述
本文的阈值选择采用：
在这里插入图片描述
set t to 0.05 in experiments on CIFAR-10 and ImageNet dataset

The quantization roughly proceeds as follows.

  1. Train a model of your choice as usual (or take a trained model).

  2. Copy all full precision weights that you want to quantize. Then do the initial quantization:
    in the model replace them by ternary values {-1, 0, +1} using some heuristic.

  3. Repeat until convergence:
    1). Make the forward pass with the quantized model. 使用量化后的网络进行前向计算
    2). Compute gradients for the quantized model. 对量化网络进行梯度计算
    3). Preprocess the gradients and apply them to the copy of full precision weights. 使用梯度更新网络模型的权重
    4). Requantize the model using the changed full precision weights. 对新的权重进行量化

  4. Throw away the copy of full precision weights and use the quantized model.

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

11

您可能感兴趣的与本文相关的镜像

FLUX.1-dev

FLUX.1-dev

图片生成
FLUX

FLUX.1-dev 是一个由 Black Forest Labs 创立的开源 AI 图像生成模型版本，它以其高质量和类似照片的真实感而闻名，并且比其他模型更有效率

【Paper Reading】TTQ三值网络
小铁匠的博客
04-24 1049
TRAINED TERNARY QUANTIZATION 2017 ICLR 清华 斯坦福 摘要 提出一种将神经网络进行三值量化的方法，该方法精度下降很小，甚至可以提高某些模型的精度，32、44、56层ResNet在CIFAR-10上和ImageNet上的AlexNet。在推理过程中，只需要三元值(2bit权值)和比例因子，因此我们的模型比全精度模型小将近16倍。三元模型也可以看作是稀疏的二元权值...
模型量化（Model Quantization） 和低精度计算（Low-Precision Computing）
最新发布
victory0431的博客
09-01 945
摘要： 模型量化是深度学习中提升计算效率的关键技术，旨在降低模型权重和激活值的精度以减少存储、计算和能耗。研究方向包括训练后量化（PTQ）、量化感知训练（QAT）、极端量化（二值/三值网络）以及混合精度量化，尤其在大语言模型（LLM）中，低比特量化（如4-bit）成为研究热点。核心挑战在于平衡精度损失与效率提升，相关论文如GPTQ和AWQ推动了LLM量化技术的突破。量化不仅能压缩模型体积，还能优化内存带宽和计算速度，是AI落地的核心支撑技术。
【论文阅读笔记】Trained Ternary Quantization
时光机 °的博客
11-13 1950
论文发布时间：2016-12 论文地址：https://arxiv.org/pdf/1612.01064.pdf 全文概括   TTQ只量化权重，该方法将权重量化成三元，即2-bit。   与其他方法不同的是，该方法的尺度因子更具有“包容性”，不是某层权重元素绝对值的均值αl=∑∣w∣countl\alpha_l=\sum\frac{|w|}{count_l}αl​=∑countl​∣w∣​，而是...
基于正交化算法的三值互连神经网络模型
02-11
提出了以信息损失最少为原则的三值(±1)互连权重编码方法，这种编码方法比以前的三值权重编码方法显著地提高了神经网络的性能。由于互连权重只有三值，恰恰弥补了光互连精度不高的缺点，易于光学实现。
Trained Ternary Quantization
JachinMa的博客
02-10 524
本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进，其流程可以简单概括为： 首先将全精度权重正则化到[-1,1]之间，然后根据一个每层相同的阈值t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1，最后分别乘以Wn和Wp作为结果计算loss，再通过梯度下降更新Wn、Wp和原始梯...
三值神经网络
wsq520521的专栏
04-06 1954
权重压缩：三值神经网络 背景 卷积神经网络（Convolutional Neural Network，CNN）尤其适合于目标识别、分类、检测及图像分割等计算机视觉应用。 典型的模型有数百万参数并运算量大；例如，AlexNet有6100万参数（浮点数权值共占用249MB存储空间），分类一张图片需要15亿高精度运算。 所以为降低CNN规模和使用资源，现在有模型修剪（model pruning，去掉值较...
quantization 顶会文章简介 2017
JachinMa的博客
09-12 639
CVPR 1、Deep Learning with Low Precision by Half-wave Gaussian Quantization
高效深度学习软硬件设计——神经网络压缩、 Pruning模型剪枝、权值共享、低秩近似
iwill323的博客
08-26 1791
CS231n笔记 基于2017年视频和李宏毅机器学习笔记• 1. Pruning模型剪枝 • 2. Weight Sharing权值共享 • 3. Quantization量化理论 • 4. Low Rank Approximation低秩近似 • 5. Binary / Ternary Net 二元/三元网络 • 6. Winograd Transformation Winogradz转换...
【CVPR2021】论文汇总列表--Part1
TomRen
05-01 2938
CVPR2021 论文汇总
深度神经网络压缩与加速总结
LLL_mg的博客
09-28 2569
深度神经网络压缩与加速综述1. 深度神经网络压缩与加速的任务2. 模型压缩与加速方法（1） 参数剪枝（2） 参数共享（3） 低秩分解（4） 紧性滤波设计（5） 知识蒸馏3. 深度神经网络压缩与加速算法相关工作（1） 基于参数剪枝的深度神经网络压缩与加速（2） 基于参数共享的深度神经网络压缩与加速 参考文献：纪荣嵘, 林绍辉, 晁飞,等. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(09):1871-1888. 1. 深度神经网络压缩与加速的任务 （1）加速——卷积层 （2）压缩
神经网络模型压缩方法讲解二值三值DNS\INQ等
04-17
模型压缩ppt的总结，可以作为粗略的一个概述，很精炼。
论文阅读笔记-TRAINED TERNARY QUANTIZATION
白色涟漪裙
09-04 377
提出了一种对网络模型的三元素量化的策略，即（,0,）,与其他的方法相比，这个方法的,不是固定的，并且绝对值不一定相等。于是：，也是模型两个训练参数之一。于是网络的训练模型也需要对这两个参数进行训练。于是作者对后向传播函数也进行了修改。作者对模型的压缩效果进行了分析。分析的结果如下： ...
Trained Ternary Quantization (TTQ)：深度学习模型的轻量化利器
gitblog_00797的博客
09-25 756
Trained Ternary Quantization (TTQ)：深度学习模型的轻量化利器 项目介绍 Trained Ternary Quantization (TTQ) 是一个基于TensorFlow的开源项目，旨在通过三元量化技术显著减少深度学习模型的参数数量，从而实现模型的轻量化。该项目是基于Zhu等人在论文《Trained Ternary Quantization》中提出的方法实现的。...
权值简化（1）：三值神经网络（Ternary Weight Networks）
XJTU_NOC_Wei的博客
10-19 9982
三值神经网络： 本文是对中科院两位科研工作者的文章的理解翻译：     就目前而言，深度神经网络的层数和训练时间变得越来越多。一方面，人们想要在处理器上面下功夫，但是处理器的处理速度也十分有限。造成目前一个比较深的神经网络的训练时间有时候往往需要一到两周，基于目前的困难，就有人提出了解决方式。     首先，在神经网络训练的整个训练过程中，最占用时间的无疑是乘法操作。是浮点型数据的乘法尤其消
（笔记）细颗粒度的三值网络Ternary Neural Networks with Fine-Grained Quantization
yingpeng_zhong的博客
06-02 2350
原文链接 摘要 方法 实验效果 原文链接 https://arxiv.org/abs/1705.01462 摘要 提出一种三值化方法，激活函数是8/4bit的，不需要训练，对N个权重量化到三值 ，N=2,4,8,16等等。当N=4时，ResNet-101和ResNet-50的Top1准确率分别下降3.7%和4.2%。 方法 目的：不训练地，把32bit浮点权重W...
TRAINED TERNARY QUANTIZATION 论文
qq_35608277的博客
03-15 362
本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进，其流程可以简单概括为： 首先将全精度权重正则化到[-1,1]之间， 然后根据一个每层相同的阈值delta_t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1， Ps：还提了第二种方法，见5.1.1，但论文里没有这一节。。。...
训练 ternary 量化 (Trained Ternary Quantization) 项目指南
gitblog_00715的博客
08-23 339
训练 ternary 量化 (Trained Ternary Quantization) 项目指南 本指南将带领您深入了解 训练 ternary 量化 这一开源项目，旨在帮助您快速上手并理解其核心组件。以下是主要内容模块： 1. 项目目录结构及介绍 trained-ternary-quantization/ │ ├── README.md - 项目简介和快速入门指南。 ├── r...
（笔记）网络压缩量化，训练三值量化TRAINED TERNARY QUANTIZATION
yingpeng_zhong的博客
05-20 3995
原文链接： 摘要 方法 实验效果 讨论 原文链接： https://arxiv.org/abs/1612.01064 摘要 提供一个三值网络的训练方法。对AlexNet在ImageNet的表现，相比32全精度的提升0.3%。 方法 对于每一层网络，三个值是32bit浮点的{−Wnl,0,Wpl}{−Wln,0,Wlp}\{-W^n_l, 0 , W^p_l\}，...
基于Pytorch三值化网络TWN的构建
edward_zcl的博客
11-24 289
最近有实验的需要，要用一下pytorch，发现有好的地方也有不好地方，这里先简单记一下。部分不好的地方： 比较呆板，运行设备，freeze是否有效，是否需要配合require_gradient，转换tensor类型，float类型，cpu，gpu的tensor，tensor与numpy还不完全一致，打印或者输出还是需要额外操作，data，item等属性，tensor展开操作，简化操作的bug，不管怎么说，还是挺繁琐的。 好的地方自然就是动态图，debug更加方面，即时运行，但是由于没有tensorflow.
Pytorch-quantization YOLOv8 QAT
02-28
### PyTorch Quantization Aware Training (QAT) with YOLOv8 Implementation #### Overview of QAT in PyTorch Quantization Aware Training (QAT) is a technique that simulates the effects of post-training quantization during training, allowing models to be trained directly for lower precision inference. This approach helps mitigate accuracy loss when converting floating-point models to integer-based representations like INT8[^2]. For implementing QAT specifically within the context of YOLOv8 using PyTorch, several key steps need attention: #### Preparation Steps Before Applying QAT on YOLOv8 Model Before applying QAT, ensure the environment setup includes necessary libraries such as `torch`, `torchvision` along with specific versions compatible with your hardware and software stack. Ensure the model architecture supports QAT by verifying compatibility or making adjustments where required. Some layers might not support direct quantization; hence modifications may be needed before proceeding further. ```python import torch from ultralytics import YOLO model = YOLO('yolov8n.pt') # Load pre-trained YOLOv8 nano model ``` #### Configuring the Model for QAT To prepare the YOLOv8 model for QAT, configure it according to PyTorch guidelines provided in official documentation[^1]. The configuration involves setting up observers which will collect statistics about activations and weights throughout different stages of forward passes. ```python # Prepare model for QAT model.train() model.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm') torch.quantization.prepare_qat(model, inplace=True) for name, module in model.named_modules(): if isinstance(module, torch.nn.Conv2d): torch.quantization.fuse_modules( model, [name], inplace=True ) ``` #### Fine-Tuning Process During QAT Phase During fine-tuning phase under QAT mode, continue training while periodically validating performance metrics against validation datasets. Adjust learning rates carefully since aggressive changes could negatively impact convergence properties observed earlier without quantization constraints applied. Monitor both original float32 evaluation scores alongside their corresponding int8 counterparts generated through simulated low-bit operations introduced via inserted fake_quant modules across network paths. ```python optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9) criterion = torch.nn.CrossEntropyLoss() for epoch in range(num_epochs): train_one_epoch(model, criterion, optimizer, data_loader_train, device=device) validate(model, criterion, data_loader_val, device=device) ``` #### Exporting Post-QAT Trained Models into ONNX Format Once satisfied with achieved accuracies after completing sufficient epochs count, export resulting optimized graph structure together with learned parameters ready for deployment onto target platforms supporting efficient execution over reduced bit-width arithmetic units. Exported files should contain explicit instructions regarding how each tensor gets transformed between full-range floats versus narrow-scaled integers at runtime boundaries defined inside exported protocol buffers specification documents adhering closely enough so they remain interoperable among diverse ecosystem components involved from development until production phases inclusive. ```python dummy_input = torch.randn(1, 3, 640, 640).to(device) torch.onnx.export( model.eval(), dummy_input, 'qat_yolov8.onnx', opset_version=13, do_constant_folding=True, input_names=['input'], output_names=['output'] ) ``` #### Best Practices When Implementing QAT on YOLOv8 Adopting best practices ensures successful application of QAT techniques leading towards effective utilization of computational resources available today's edge devices capable running deep neural networks efficiently even constrained environments characterized limited power supply options present mobile phones cameras drones etcetera. - **Start Simple**: Begin experimentation process utilizing smaller variants first e.g., Nano version instead larger ones initially. - **Validate Early & Often**: Regularly check intermediate results ensuring no significant drop occurs compared baseline configurations prior introducing any form approximation schemes whatsoever. - **Adjust Learning Rate Carefully**: Gradually decrease step sizes especially near end iterations avoiding abrupt shifts causing instability issues otherwise avoided altogether following systematic reduction schedules designed maintain stability throughout entire procedure duration spanned multiple rounds optimization cycles executed sequentially ordered fashion preserving overall integrity final product delivered customers hands ultimately.
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值