Knowledge Distillation(6)——Large scale distributed neural net training through online distillation

最新推荐文章于 2024-11-21 16:03:17 发布
原创 最新推荐文章于 2024-11-21 16:03:17 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DL #ML

ICLR2018论文介绍，GoogleBrain与DeepMind合作，通过在线蒸馏(Codistillation)方法，实现大规模分布式神经网络训练，显著提升训练速度与模型精度。相较于传统SGD，此方法在大量并行网络间共享知识，加速收敛。

Large scale distributed neural network training through online distillation


Google Brain, Google DeepMind等团队合作的一篇论文，Hinton的名字赫然在列，发表在ICLR2018.

概述

主要想法是，现在的分布式SGD是有缺陷的，因为需要花费大量的时间。且在投入了一定的机器后，继续投入计算资源，无法进一步缩短训练时间或者提升模型效果。

因而提出用online distillation的方式，进行大规模分布式神经网络训练，以期获得更快的训练速度并提升模型精度。该工作提出了Codistillation的概念，通过大规模实验，发现codistillation方法提高了准确性并加快了训练速度，并且易于在实践中使用。

对Codistillation的定义：
在这里插入图片描述
作者构造的是同样的网络并行训练，并且在未收敛时就使用distillation loss
感觉这篇文章是Deep Mutual Learning的升级版本，同时让许多同样的网络进行并行训练。效果是大家都学的更快还学的更好了
同样耗费上百个GPU的话，使用SGD加大batchsize没啥效果，但是这种codistillation的方式看似训练了太多模型，但是大家一起学、互相学，收敛的更快了~

不过这篇论文对于我来说没多大帮助，毕竟我没有128GPUs。。。所以看看就好。
工业界大厂还是暴力啊，不过实验室小作坊也有自己的玩法哈哈~

知识蒸馏: Distilling the Knowledge in a Neural Network(中)
新兴IT民工的专栏
03-20 1655
上一篇已经详细讲了论文的前两章，知识蒸馏的基本逻辑和详细的算法过程。这一篇来说说论文中的后面几张，包括了知识蒸馏算法在MNIST和一个语音识别数据集上的实验效果，还有就是通用模型+专家模型与多专家系统的区分。
AI应用架构师实战：大规模AI模型微调任务运维的6个避坑技巧
最新发布
AI天才研究院
08-02 1113
技巧编号核心问题解决方法1资源规划不合理用FLOPs+显存模型估算GPU需求2数据加载慢构建分布式+异步+缓存的预处理流水线3训练稳定性差用梯度裁剪+混合精度+梯度检查4调参效率低用实验管理工具跟踪参数和metrics5节点宕机导致进度丢失用弹性分布式训练框架6部署延迟高用模型转换+量化提前适配生产环境大规模AI模型微调的运维，不是“遇到问题再解决”，而是“提前布局，避免问题”。通过资源规划避免资源浪费，通过数据预处理避免IO瓶颈，通过训练稳定性策略。
1804.03235-Large scale distributed neural network training through online distillation.md
dwSun的博客
07-05 1099
1804.03235-Large scale distributed neural network training through online distillation.md 现有分布式模型训练的模式 分布式SGD 并行SGD： 大规模训练中，一次的最长时间取决于最慢的机器 异步SGD： 不同步的数据，有可能导致权重更新向着未知方向 并行多模型 ：多个集...
Hinton胶囊网络后最新研究：用“在线蒸馏”训练大规模分布式神经网络
weixin_33733810的博客
04-16 328
在提出备受瞩目的“胶囊网络”（Capsule networks）之后，深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在distillation这一想法做了一些前沿工作，包括Distill the Knowledge in a Neural Network等。今天我们介绍的是Hinton作为作者之一，谷歌大脑、DeepMin...
Online Knowledge Distillation for Efficient Pose Estimation
jessica_hsz的博客
09-09 1028
题记：利用在线知识蒸馏的方法做人体姿态估计 知识点： 1 知识蒸馏：把多个模型的知识提炼给单个模型。广泛用于迁移学习和模型压缩中。 参考链接：知识蒸馏（Knowledge Distillation）简述（一） - 知乎 (zhihu.com) 目前有很多人体姿态估计的网络是基于Hourglass（HG）来实现的，FPD(CVPR 19')首先提出，利用传统的蒸馏(KD)方法，首先训一个8-stack HG作为teacher，选择一个4-stack HG作为student，然后进行KD。...
一文看懂“知识蒸馏”技术
weixin_42010722的博客
03-24 3190
过去几年中，深度学习已成为人工智能许多成功的基础，包括计算机视觉中的各种应用、强化学习。随着许多最新技术的帮助，包括残差连接和批量归一化，可以在强大的GPU或TPU集群上轻松训练数千层的非常深的模型。例如，使用数百万图像的流行图像识别基准测试可以在不到十分钟的时间内训练出ResNet模型；训练强大的BERT语言理解模型不需要超过一个半小时。大规模的深度模型取得了压倒性的成功，但是巨大的计算复杂度和大量的存储要求使得在实时应用中部署它们成为了一大挑战，尤其是在资源有限的设备上，比如视频监控和自动驾驶汽车。
知识蒸馏 | 综述：蒸馏机制
zenRRan的博客
12-14 1993
每天给你送来NLP技术干货！来自：GiantPandaCV这一篇介绍各个算法的蒸馏机制，根据教师网络是否和学生网络一起更新，可以分为离线蒸馏，在线蒸馏和自蒸馏。感性上理解三种蒸馏方式：离线...
Computational Bottlenecks of Training Small-scale Large Language Models 翻译
Doc2X的博客
11-21 1140
https://arxiv.org/pdf/2410.19456 Computational Bottlenecks of Training Small-scale Large Language Models 小规模大型语言模型训练的计算瓶颈
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5334
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
（DINO） Emerging Properties in Self-Supervised Vision Transformers——自监督ViT的新属性和几点思考
MengYa_Dream的博客
10-17 4640
（DINO） Emerging Properties in Self-Supervised Vision Transformers——自监督ViT的新属性 Self-distillation with no labels 、student-teacher network 概念、知识蒸馏
大模型相关基础知识学习
qq_52234528的博客
06-07 1987
学习大模型的笔记
万字综述 | 一文读懂知识蒸馏
热门推荐
u012347027的博客
12-20 1万+
知识蒸馏综述摘要知识蒸馏简介知识Response-Based KnowledgeFeature-Based KnowledgeRelation-Based Knowledge蒸馏离线蒸馏（Offline Distillation）在线蒸馏（Online Distillation）自我蒸馏（Self-Distillation）师生架构蒸馏算法对抗蒸馏（Adversarial Distillation）多教师蒸馏（Multi-Teacher Distillation）跨模态蒸馏（Cross-Modal Dist
【综述】2021-Knowledge Distillation: A Survey
Drug discovery
03-29 1135
本文来源于：
知识蒸馏综述：蒸馏机制
小白学视觉
07-18 610
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达感性上理解三种蒸馏方式：离线蒸馏可以理解为知识渊博的老师给学生传授知识。在线蒸馏可以理解为教师和学生一起学习。自蒸馏意味着学生自己学习知识。1. 离线蒸馏 Offline Distillation上图中，红色表示pre-trained, 黄色代表To be trained。早期的KD方法都属于离线蒸馏，将一个预训练好的教师模型的...
常见知识蒸馏方法总结记录
Together_CZ的博客
09-15 4312
常见知识蒸馏方法总结记录
悉尼大学 & 伦敦大学联合出品：知识蒸馏最新综述
Paper weekly
11-02 1006
©作者 | 夏劲松学校 | 哈尔滨理工大学研究方向 | 知识蒸馏、图神经网络摘要深度学习通过参数量巨大的模型，近几年中在多个领域取得了较好的效果，但是往往因为模型体积过大（模型的体积指的就...
知识蒸馏 （一） 综述
weixin_41386168的博客
04-15 2349
综述 《Knowledge Distillation: A Survey》2021 《Knowledge Distillation: A Survey》 - 知乎 《Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New》[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intellig
【深度学习】（一）知识蒸馏
mjiansun的专栏
08-17 2428
近年来，知识提炼中的神经结构搜索，即在教师模型的指导下，对学生结构和知识转移进行联合搜索，将是未来研究的一个有趣课题。Offline Distillation缺点是教师网络通常容量大，模型复杂，需要大量训练时间，还需要注意教师网络和学生网络之间的容量差异，当容量差异过大的时候，学生网络可能很难学习好这些知识。然而，现有的在线方法（如相互学习）通常不能解决在线设置中的大容量教师，因此，进一步探索在线设置中教师和学生模型之间的关系是一个有趣的话题。这部分将探讨的教师模型和学生模型的结构之间的关系，如上图所示。.
Knowledge Distillation(1)——入门&开山之作
judgechen1997的博客
09-19 3587
Knowledge Distillation 概述研究背景定义（知识蒸馏是什么？）开山之作1. Introduction2. Distillation 研究背景 对于机器学习的模型，我们往往在训练和部署时使用着极其相似的模型，尽管这两个阶段明显有着不同的需求：训练时可以使用一个巨大的数据集去训练一个很深的模型，并占用大量的计算资源，以期达到最好的效果；然而在实际应用时，却又对计算时间和计算资源特...
Multi-scale Feature Extraction and Fusion for Online Knowledge Distillation这篇论文的讲解
07-11
在线知识蒸馏（Online Knowledge Distillation）是一种模型压缩技术，其中多个模型（通常称为教师模型和学生模型）协同工作，以提升模型性能或减少模型复杂度。在这一过程中，多尺度特征提取与融合方法被广泛应用于增强模型对输入数据的表示能力。 ### 多尺度特征提取与融合的基本原理 多尺度特征提取旨在从不同尺度上捕捉图像或信号的关键信息。这种策略可以有效提高模型的感知能力，尤其是在处理具有复杂结构的数据时。多尺度特征融合则是将这些从不同尺度提取的特征进行整合，以形成更具代表性的特征表示。 在在线知识蒸馏中，这种方法的应用能够帮助学生模型更好地学习教师模型的知识，通过利用教师模型生成的软标签来指导学生模型的学习过程。 ### 具体应用实例 #### 自适应多尺度特征融合网络（AMFFN） 自适应多尺度特征融合网络（AMFFN）是一种典型的多尺度特征提取与融合架构。其主要包括四个部分： 1. **原始特征提取**：使用基础卷积层提取输入数据的初始特征。 2. **自适应多尺度特征提取（AMFE）**：通过多路径结构提取不同尺度的特征，并根据任务需求动态调整各路径的权重。 3. **特征融合**：将不同尺度的特征进行加权融合，以形成更丰富的特征表示。 4. **图像重建**：基于融合后的特征进行最终的图像重建或其他任务相关的输出[^2]。 #### Multi-scale Feature Fusion Residual Network (MFFRN) 在单图像超分辨率任务中，MFFRN采用了一种相互交叉的多路径网络结构。每条路径使用相同大小的卷积核，但卷积核数量不同，从而实现不同的感受野。此外，在前向传播过程中，不同路径的特征不仅在网络最后进行融合，还在中间层进行多次融合。这种方式带来了以下优势： - 不同路径的信息共享有助于网络自适应检测图像特征。 - 每条路径接受来自其他路径的梯度，有助于缓解训练中的梯度消失问题[^5]。 ### 在线知识蒸馏中的多尺度特征提取与融合 在线知识蒸馏中，多尺度特征提取与融合方法可以通过以下方式发挥作用： - **特征对齐**：通过多尺度特征提取，教师模型和学生模型可以在不同尺度上对齐特征，使得学生模型更容易模仿教师模型的行为。 - **知识迁移**：在特征融合阶段，教师模型生成的特征可以作为额外监督信号，引导学生模型学习更鲁棒的特征表示。 - **动态调整**：结合自适应机制，可以根据输入数据的特点动态调整不同尺度特征的权重，进一步提升模型的泛化能力。 ### 代码示例 以下是一个简化的多尺度特征融合模块的PyTorch实现： ```python import torch import torch.nn as nn class MultiScaleFeatureFusion(nn.Module): def __init__(self, in_channels): super(MultiScaleFeatureFusion, self).__init__() # 定义不同尺度的卷积层 self.conv1 = nn.Conv2d(in_channels, in_channels, kernel_size=3, padding=1) self.conv3 = nn.Conv2d(in_channels, in_channels, kernel_size=5, padding=2) self.conv5 = nn.Conv2d(in_channels, in_channels, kernel_size=7, padding=3) # 特征融合层 self.fusion = nn.Conv2d(3 * in_channels, in_channels, kernel_size=1) # 激活函数 self.relu = nn.ReLU() def forward(self, x): # 提取不同尺度的特征 feat1 = self.relu(self.conv1(x)) feat3 = self.relu(self.conv3(x)) feat5 = self.relu(self.conv5(x)) # 特征拼接并融合 fused_feat = torch.cat([feat1, feat3, feat5], dim=1) output = self.fusion(fused_feat) return output ``` 该模块定义了三个不同卷积核大小的分支，分别提取不同尺度的特征，然后将这些特征拼接并通过一个1x1卷积层进行融合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值