Training Shallow and Thin Networks for Acceleration via Knowledge Distillation with Conditional Adve

最新推荐文章于 2024-07-10 16:55:08 发布
最新推荐文章于 2024-07-10 16:55:08 发布
阅读量472 收藏 1
点赞数 1
分类专栏： 知识蒸馏论文阅读 文章标签： python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_48448726/article/details/127784344
版权

目录

一.Abstract

二、相关介绍

三、算法步骤

3.1带有残余连接的神经网络

3.2Knowledge distillation

         3.3对抗网络的学习损失

student update

总结

一.Abstract

1.提出使用条件对抗网络学习损失函数，将知识从教师传递给学生(该方法对于规模较小的学生网络尤其有效)

2.研究了推理时间与分类准确率之间的权衡关系，并对选择合适的学生网络提出了建议

二、相关介绍

①学生网络和教师网络都是残余连接的卷积神经网络（CNNs)

②引入GAN中的鉴别器，网络可以自动学习良好的损耗来传递班级之间的相关性（即来自老师的暗知识），同时也保留了多模态

基于gan的师生策略的动机是:教师网络产生的软目标信息量更大，学习损失可以转移多模态知识

在对抗学习过程中，GAN训练两个神经网络：生成器与鉴别器，并交替更新这两个网络。

我们在条件设置中应用GAN，生成器以输入图像为条件。并且生成器与鉴别器需要选择完全不同的体系结构。 

三、算法步骤

本节介绍基于条件对抗网络的学习损失方法

3.1概述现代网络框架

3.2描述可以从教师网络转移到学生网络的暗知识

3.3基于gan的学习损失方法

最低0.47元/天 解锁文章
Training Shallow and Thin Networks for Acceleration via KD with Conditional Adversarial Networks
langzi453的博客
09-19 1001
论文地址：https://arxiv.org/abs/1709.00513   这是2017年的一篇文章。在本文之前的监督学习的方法一般是通过最小化确定的损失函数来拟合学生和老师，本文通过cGANs来学习适合的loss，更好的进行知识的迁移。其训练过程如下： Discriminator的更新过程如下： 但Discriminator只使用学生和老师的标签作为loss函数的输入会让训练...
A Gift from Knowledge Distillation：Fast Optiization,Network Minimization and Transfer Learning
langzi453的博客
09-26 2523
A Gift from Knowledge Distillation_Fast Optiization,Network Minimization and Transfer Learning： 本文提出以下观点： （1）从教师网络萃取知识不一定只从最后的softmax层这一层，还可以从多个层提取。结构如下：   （2）将从教师网络学习到的知识用来对学生网络进行初始化，并在之后用主流的方法...
悉尼大学 & 伦敦大学联合出品：知识蒸馏最新综述
Paper weekly
11-02 926
©作者 | 夏劲松学校 | 哈尔滨理工大学研究方向 | 知识蒸馏、图神经网络摘要深度学习通过参数量巨大的模型，近几年中在多个领域取得了较好的效果，但是往往因为模型体积过大（模型的体积指的就...
神经网络的知识蒸馏（Distilling the Knowledge in Neural Network）
qq_35778890的博客
10-10 1713
文章目录1. 背景2.理论依据1. 教师学生模型2.知识蒸馏关键点3. softmax函数3. 知识蒸馏的具体方法1.通用的知识蒸馏方法2. 关于温度T的讨论 论文链接 原博客参考：链接 1. 背景 在训练过程中，我们需要使用复杂的模型，大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。在实验中，效果最好的模型往往规模很大，甚至由多个模型集成得到。而大模型不方便部署到服务中去，常见的瓶颈如下: （1）推理速度慢 （2）对资源部署的要求高 因此，模型压缩（在保证性能的前提下减少模型的参数量）成为了一
学生教师模型
weixin_43881088的博客
07-10 2666
教师-学生神经网络（Teacher-Student Neural Network），也被称为知识蒸馏（Knowledge Distillation），是一种模型压缩和优化方法。通过将复杂且性能优异的“大”教师模型的知识传递给较小的学生模型，使得学生模型在保持高准确度的同时，具有更低的计算资源需求。
Supervised Contrastive Learning For Recommendation
ZZZ___bj的博客
03-28 2219
摘要： 我们的目的是充分考虑对比学习在推荐系统场景中的应用，使其更适合于推荐任务。我们提出了一个监督对比学习框架来预训练用户-项目二部图，然后对图卷积神经网络进行微调。具体来说，我们将在数据预处理过程中比较用户与物品之间的相似度，然后在应用对比学习时，不仅将扩增视图视为正样本，还将一定数量的相似样本视为正样本，这与SimCLR不同，SimCLR将一批中的其他样本视为负样本。我们将这种学习方法称为监督对比学习(SCL)，并将其应用于最先进的LightGCN。此外，为了考虑节点交互的不确定性，我们还提出了一种.
Shallow and Deep Networks Intrusion Detection System A Taxonomy and Survey.pdf
03-31
标题中的“Shallow and Deep Networks Intrusion Detection System: A Taxonomy and Survey”指向了文档探讨的核心，即浅层网络和深层网络在入侵检测系统(IDS)中的应用，并提出了一种分类法和调研。这一标题强调了对...
SHALLOW LEARNING FOR DEEP NETWORKS.pdf
08-29
标题《SHALLOW LEARNING FOR DEEP NETWORKS》表明，这篇文章探讨了如何利用浅层网络的特性来构建深层网络。浅层网络（例如具有一个隐藏层的监督学习网络）由于其结构简单，因此易于解释、分析和优化，但它们缺乏深层...
Adaptable Conditions Classification of Water Protection Mining Technology for Shallow Coal Seam with Thin Bedrock
03-04
马立强和张东升的研究成果《Adaptable Conditions Classification of Water Protection Mining Technology for Shallow Coal Seam with Thin Bedrock》在这一背景下，深入探讨了保水开采技术的适用条件分类，并通过...
知识蒸馏
热门推荐
oldsummer
05-02 2万+
目录 一 引言 1.1 深度学习的优点 1.2 深度学习的缺点 二 什么是知识蒸馏 2.1 模型压缩 2.2 什么是学习 2.3 什么是知识蒸馏 2.4 知识蒸馏的一般流程 三 知识蒸馏的分类 3.1 模型结构的种类 3.2 知识的分类 3.3 如何蒸馏 四 输出层知识蒸馏 《Distilling the Knowledge in a Neural Network 》 2015 五 中间层知识蒸馏 《Learning Metrics from Teachers: Comp
关于知识蒸馏，这三篇论文详解不可错过
AI科技大本营
07-28 5735
作者 | 孟让转载自知乎导语：继《从Hinton开山之作开始，谈知识蒸馏的最新进展》之后，作者对知识蒸馏相关重要进行了更加全面的总结。在上一篇文章中主要介绍了attent...
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 1万+
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
网络加速和压缩技术论文整理
mingo_敏
05-07 3454
从加速和压缩本身来说，两者不是同一件事，但通常情况下我们往往会同时做加速和压缩，两者都会给网络的计算带来收益，所以我们习惯将它们放在一起来讲。 低秩近似（low-rank Approximation），网络剪枝（network pruning），网络量化（network quantization），知识蒸馏（knowledge distillation）和紧凑网络设计（compact Networ...
teacher-student network
dwyane12138的博客
12-03 1万+
最近读到一篇文章《An On-device Deep Neural Network for Face Detection》，讲的是苹果如何将基于深度学习的人脸识别方法应用到iPhone上，同时解决多任务并行及能耗的问题。文中提到了一个teacher-student network的概念。概括地讲，就是用一个更宽更复杂的，但是已经训练好的神经网络（教师网络），去训练另一个窄而深的网络（学生网络）
趣味深度学习系列（一）：深度学习技术中的 “教师”与“学生”
PaddlePaddle
09-10 3000
老师，您辛苦了“师者，所以传道受业解惑也。”教师，是神圣而伟大的职业，倾其所能，教书育人，桃李遍开花。今天是教师节，首先祝所有的老师们节日快乐！（图片源于网络）提到深度学...
南加州大学等机构联合提出「再生神经网络」：学生模型优于教师模型，降低CIFAR-100验证误差至15%
雷克世界
12-16 1722
原文来源：metalearning.ml（Metalearning Workshop@31st Conference on Neural InformationProcessing Systems）作者：Tommaso Furlanello、Zachary C. Lipton、Laurent Itti、Anima Anandkumar「雷克世界」编译：嗯~阿童木呀、多拉A亮知识精炼技术（Knowl
迁移学习，知识蒸馏，教师-学生网络
chenran187906的博客
10-12 8071
1. 迁移学习 迁移学习( Tranfers Learning)是机器学习的一个分支，只是神经网络太火了，最近研究和神经网络靠。迁移学习的初衷是节省人工标注样本的时间，让模型可以通过已有的标记数据（source domain data）向未标记数据（target domain data）迁移。 换句话说，迁移学习就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存...
神经网络基础：七种网络单元，四种层连接方式
刘炫320的博客
06-18 8804
2016 年 9 月，Fjodor Van Veen 写了一篇名为《The Neural Network Zoo》的文章（详见图文并茂的神经网络架构大盘点：从基本原理到衍生关系 ），全面盘点了神经网络的大量框架，并绘制了直观示意图进行说明。近日，他又发表了一篇题为《The Neural Network Zoo Prequel:Cells and Layers》文章，该文是其上篇文章的前篇，对于文中涉
resnet中的残差连接
AnneQiQi的博客
01-16 1279
本文转自微信公众号“言有三”：【模型解读】resnet中的残差连接，你确定真的看懂了？ 一、残差连接 想必做深度学习的都知道skip connect，也就是残差连接，那什么是skipconnect呢？如下图 上面是来自于resnet【1】的skip block的示意图。我们可以使用一个非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，F通常包括了卷积，激活等操作。 ...
shallow clone with
最新发布
01-17
### 浅克隆的概念 浅克隆是指创建对象的一个副本，但在复制过程中对于对象内部的引用类型成员变量不会创建新的实例。这意味着原始对象及其副本中的引用类型成员指向相同的内存地址[^1]。 ### 实现方式 在不同编程语言中，实现浅克隆的方法有所不同： #### Python 中的浅克隆 Python 提供了 `copy` 模块来处理对象的拷贝操作。下面是一个简单的例子展示如何使用该模块来进行浅克隆: ```python import copy class MyClass: def __init__(self, name, items=None): self.name = name self.items = items if items is not None else [] original_obj = MyClass('Original', ['item1', 'item2']) cloned_obj = copy.copy(original_obj) print(f'Original object id: {id(original_obj)}') print(f'Cloned object id: {id(cloned_obj)}') # 修改 cloned_obj 的属性会影响 original_obj 吗？ cloned_obj.items.append('new_item') print(f'Items of Original Object after modification on Cloned Object: {original_obj.items}') ``` 这段代码展示了当修改被克隆的对象内的列表时，原对象也会受到影响，因为它们共享同一个列表实例。 #### Java 中的浅克隆 Java 通过实现 `Cloneable` 接口并重写 `clone()` 方法可以完成浅克隆的操作。需要注意的是，默认情况下 `Object.clone()` 只会执行字段级别的复制而不会深入到子对象层面。 ```java public class ShallowCopyExample implements Cloneable { private String name; private ArrayList<String> list; public ShallowCopyExample(String name, ArrayList<String> list) { this.name = name; this.list = list; } @Override protected Object clone() throws CloneNotSupportedException { return super.clone(); } } ``` 在这个例子中，如果尝试克隆一个包含可变集合类型的对象，则两个对象将会共享同一份数据结构，任何一方对这个集合所做的更改都会反映给另一方[^2]。 ### 使用场景 浅克隆适用于那些不需要完全独立于源对象的应用场合，在某些特定的情况下能够提高性能和减少资源消耗。然而，在涉及到复杂的数据结构或者多个层次嵌套的时候要特别小心，以免造成意外的行为或难以调试的问题[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值