Zero-shot Adversarial Quantization论文翻译+解读

原创 已于 2022-05-06 14:51:24 修改 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#量化论文

于 2022-05-04 17:48:25 首次发布
本文提出了一种新的无数据模型量化框架，名为Zero-Shot Adversarial Quantization (ZAQ)，它在不访问训练数据的情况下实现模型量化。ZAQ通过两级差异建模和对抗性学习，生成信息丰富的数据样本来优化量化模型。与现有方法相比，ZAQ在图像分类、分割和目标检测任务上表现优越，尤其在超低精度场景下，同时在效率上优于基于批量归一化统计的数据生成方法。

2021:Zero-shot Adversarial Quantization

Abstract

在这里插入图片描述
    模型量化是一种很有前途的压缩深度神经网络和加速推理的方法，使其能够部署在移动设备和边缘设备上。// 为了保持全精度模型的高性能，大多数现有的量化方法都集中于通过假设训练数据集是可访问的，对量化模型进行微调。然而，由于数据隐私和安全问题，这一假设在实际情况下有时不被满足，因此使这些量化方法不适用。// 为了在不访问训练数据的情况下实现零样本模型量化，少量的量化方法采用训练后量化或批量归一化统计引导的数据生成进行微调。但是，由于前者具有过低的经验性，缺乏对超低精度量化的训练支持，而后者不能完全恢复原始数据的特性，对于不同的数据生成的效率往往较低。为了解决上述问题，我们提出了一个零样本对抗性量化(ZAQ)框架，促进有效的差异估计和知识迁移从一个全精度模型到其量化模型。// 这一段翻译有问题！！！------------这是通过一种新的两级差异模型来实现的，以驱动生成器综合信息丰富和多样的数据例子，以对抗性学习的方式优化量化模型。我们在三个基本的视觉任务上进行

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【零样本知识蒸馏】（一）Zero-shot Adversarial Quantization
梁瑛平的博客
08-18 1061
作者提出了一个零样本对抗性量化（ZAQ）框架，促进了从一个全精度模型到其量化模型有效的差异估计和知识转移，该算法以驱动生成器合成信息和不同的数据实例，以对抗性学习的方式优化量化模型
2020:ZeroQ: A Novel Zero Shot Quantization Framework----一种新的零镜头量化框架
青灵_Yaffa的博客
05-06 566
ZeroQ: A Novel Zero Shot Quantization Framework 未完待续！！Abstract1. Introduction2. Related work3. Methodology Abstract           量化化是减少神经网络推理时间和内存占用的一种很有前途的方法。然而，大多数现有的量化方法都需要访问原始训练数据集进行再训练。对于具有敏感或专有数据的应用程序，这
It’s All In the Teacher ZeroShot Quantization Brought Closer to the Teache
青灵_Yaffa的博客
04-25 1509
@TOC(Oral) paper) 作者：Kanghyun Choi1, Hye Yoon Lee1, Deokki Hong1 学校：1College of Computing, Yonsei University，CLOVA影像视觉，CLOVAAI实验室，NAVER Abstract 模型量化被认为是一种大大降低深度神经网络资源需求的有前途的方法。为了处理量化误差引起的性能下降，一种常用的方法是利用训练数据对量化网络进行微调。然而，在现实环境中，这种方法往往是不可行的，因为由于安全、隐私或保密性的问题，
【论文阅读笔记】ZeroQ: A Novel Zero Shot Quantization Framework
时光机 °的博客
12-10 2120
论文地址：ZeroQ 论文地址：https://github.com/amirgholami/ZeroQ 论文总结   本文的方法是一种后量化方法，是不用finetune的一种方法。   本文的贡献主要有两点：（1）提出了一种方法，从模型的分析中生成更为接近训练数据的数据，用于得到activation的范围和计算每一层的量化损失。（作者称他生成数据的方式，叫做蒸馏，distilled，数据）（2）提出使用Pareto frontier方法去选择目标模型大小的一个混合精度。   本文的混合精度的选择，是在目标
Data-Free Network Quantization With Adversarial Knowledge Distillation
weixin_37958272的博客
04-27 836
Data-Free Network Quantization With Adversarial Knowledge Distillation 1. Introduction 在本文中，我们提出了一个对抗性知识提炼框架，在无法获得原始训练数据的损失时，通过对抗性学习使最坏情况下的可能损失（最大损失）最小化。与[36]的关键区别在于，给定任何元数据，我们利用它们来约束对抗性学习框架中的发生器。为了避免额外的努力来制作新的元数据来分享，我们使用存储在批量规范化层中的统计数据来约束生成器，使其产生模仿原始训练数据的
对抗攻击与防御（2022年顶会顶刊AAAI、ACM、 ECCV、NIPS、ICLR、CVPR）adversarial attack and defense汇总
算法探索之路
03-19 6216
2022年 关于对抗攻击跟防御的全部顶会、顶刊论文
CVPR 2022 论文列表（持续更新）
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为优快云的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 5316
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
ZeroQ：基于Data-Free的30秒快速量化方法
u012347027的博客
09-22 1780
ZeroQ：基于Data-Free的30秒快速量化方法动机方法蒸馏数据（Distilled Data）算法可视化帕累托边界（Pareto Frontier）实验结果ImageNet 结果目标检测结果消融实验蒸馏数据的有效性敏感度分析 ZeroQ 是北京大学与 Berkeley 联合发表在 CVPR 2020 的 Data-Free 量化工作。本文是一种无需数据集，通过优化随机数据产生“蒸馏数据”，进而实现均匀量化和混合比特量化的方法。与最近提出的 DFQ 方法相比，ZeroQ 在 MobileNetV2上
Zero-Shot Noise2Noise:无需数据集训练的有效图像去噪方法
weixin_55189321的博客
07-19 7707
然而，实验表明，残差学习，对称损失和额外的一致性强化项（正则项）对模型的表现至关重要，在残差学习中，网络被优化用来适应噪声而不是图像，因为噪声下采样后可能更容易观察和体现出噪声。近年来，图像开始使用监督网络进行去噪，并且表现出来良好的性能，但是当前的无数据集的方法要么计算成本高，要不就是需要噪声模型，或者就是图像质量较低，因此作者提出了一个简单的两层网络，以没有任何训练数据或者噪声分布的方法，用较低的成本去高质量的对图片进行去噪，该方法是一种以更低的成本并且优于现有的其他的无数据去噪的方法。
Zero Shot | 一文了解零样本学习
zenRRan的博客
01-11 2万+
每天给你送来NLP技术干货！来源｜知乎 作者｜恒大大地址｜https://zhuanlan.zhihu.com/p/142057964报道｜人工智能前沿讲习网上有一些关于零样本学习的讨论...
Zero-shot（零次学习）简介
gary101818的博客
02-19 2万+
所以模型需要知道的信息是马的样本、老虎的样本、熊猫的样本和样本的标签，以及关于前三种动物和斑马的描述。假设我们已知驴子和马的形态特征，又已知老虎和鬣狗都是又相间条纹的动物，熊猫和企鹅是黑白相间的动物，再次的基础上，我们定义斑马是黑白条纹相间的马科动物。如今十分火热的纯监督模型往往需要足够多的样本才能训练出足够好的模型，并且用熊猫训练出来的分类器，只能对熊猫进行分类，其他物种都无法识别，也无法进行特征的综合推理，这样的模型功能还有待完善。ZSL这样的设置其实就是上文中识别斑马的过程中，已知的条件。
2021年3月31最新论文（计算机视觉，图像分割，图像识别，图像分类）
AI速递
03-31 3563
【1-66】移步到公众号：AI速递 [67] Classifying Video based on Automatic Content Detection Overview 作者 | Yilin Wang, Jiayi Ye 链接 | https://arxiv.org/abs/2103.15323 [68] TFPose: Direct Human Pose Estimation with Transformers 作者 | Weian Mao, Yongtao Ge, Chunhua Shen, Zh
2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS利用整数运算对卷积神经网络
青灵_Yaffa的博客
05-05 1124
2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS论文阅读---未完待续！！！Abstract1 INTRODUCTION2 RELATED WORK3 THE DYNAMIC FIXED POINT FORMAT（动态定点格式）3.1 DFP TENSOR PRIMITIVES（dfp张量原语）4 NEURAL NETWORK TRAINING USING DYNAMIC FIXED
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 7万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
zero-shot基础入门
longshaonihaoa的博客
10-09 1万+
好早前看了一下zero-shot的文章，并进行整理做成了PPT，今天上班有空分享一下。 每张PPT下都有链接，更详细的介绍可以查看链接。 1、定义 这是zero-shot介绍时常用的一张图，从见过的类别（第一列）中提取特征（如：外形像马、条纹、黑白），然后根据对未知类别特征的描述，测试未见过的类别。 ...
网络加速和压缩技术论文整理
mingo_敏
05-07 3614
从加速和压缩本身来说，两者不是同一件事，但通常情况下我们往往会同时做加速和压缩，两者都会给网络的计算带来收益，所以我们习惯将它们放在一起来讲。 低秩近似（low-rank Approximation），网络剪枝（network pruning），网络量化（network quantization），知识蒸馏（knowledge distillation）和紧凑网络设计（compact Networ...
【零样本知识蒸馏】（三）ZeroQ: A Novel Zero Shot Quantization Framework
梁瑛平的博客
08-19 1306
【零样本知识蒸馏】（三）ZeroQ: A Novel Zero Shot Quantization Framework论文地址：代码地址：主要问题：主要思路：主要贡献：具体实现：基本符号：Distilled Data：Pareto Frontier：实验结果： 论文地址： https://arxiv.org/abs/2001.00281 代码地址： https://github.com/amirgholami/ZeroQ 主要问题： 最近的工作提出了训练后量化，它直接量化NN模型而不需要微调，但是这些方法导
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
mizhenpeng的博客
09-20 9683
这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877 本博客参考了微信公众号“AI芯片算法”中的原创文章《Google CVPR2018 8bit 量化论文》一文。 1、本文的贡献 本文主要侧重将推断中的浮点数运算量化为整数运算（Integer-Arithmetic-Only），最终将权重和激活函数量化为8-bit...
ZJU AI竞赛：运用GAN方法的Zero-Shot学习项目解读
资源摘要信息:"本资源摘要信息将详细介绍标题中提到的“Zero-Shot-Learning:〜ZJU AI竞赛的ZeroShot学习（GAN方法）”，并深入挖掘描述中所涉及的技术细节和项目背景。同时，还将涵盖标签中的相关技术栈，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

土豆娃potato

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值