【杂谈】当前知识蒸馏与迁移学习有哪些可用的开源工具？

最新推荐文章于 2025-03-31 10:26:00 发布
原创 最新推荐文章于 2025-03-31 10:26:00 发布 · 1k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文汇总了知识蒸馏与迁移学习领域的多个开源工具，包括PaddleSlim、Distiller、MxNet、Knowledge-Distillation-Zoo及deep-transfer-learning等，介绍了各工具支持的算法与应用，并提供了经典模型实现及综述资料。

知识蒸馏与迁移学习不仅仅属于模型优化的重要技术之一，也是提升模型跨领域泛化能力的重要技术，那么当前有哪些可用的知识蒸馏和迁移学习开源工具呢？

作者&编辑 | 言有三

1 PaddleSlim

PaddleSlim是百度提出的模型优化工具，包含在PaddlePaddle框架中，支持若干知识蒸馏算法，可以在teacher网络和student网络任意层添加组合loss，包括FSP loss，L2 loss，softmax with cross-entropy loss等。

https://github.com/PaddlePaddle/models/tree/develop/PaddleSlim

2 Distiller

Distiller是Intel基于Pytorch开源的模型优化工具，支持Hinton等人提出的Knowledge distillation算法。

https://github.com/NervanaSystems/distiller

3 MxNet

MxNet中集成了Bayesian Dark Knowledge方法的复现，在推荐系统中有一定作用。

https://github.com/apache/incubator-mxnet/tree/master/example/bayesian-methods

4 非官方Pytorch项目

Knowledge-Distillation-Zoo是GitHub用户AberHu蒸馏的知识蒸馏项目，支持fitnet等多个模型。

https://github.com/AberHu/Knowledge-Distillation-Zoo

deep-transfer-learning是GitHub用户easezyc整理的迁移学习项目。

https://github.com/easezyc/deep-transfer-learning

5 一些经典模型实现

Hinton等人在2015年提出了经典的知识蒸馏框架Knowledge distillation，下面是各大框架的复现。

[1] Keras 

https://github.com/TropComplique/knowledge-distillation-keras

[2] Tensorflow
https://github.com/DushyantaDhyani/kdtf

[3] Caffe

https://github.com/wentianli/knowledge_distillation_caffe

更多的一些经典算法如下，留待读者自己学习，咱们就不沉迷于收藏了。

[1] Relational Knowledge Distillation算法

https://github.com/lenscloth/RKD

[2] Teacher-Assistant-Knowledge-Distillation算法

https://github.com/imirzadeh/Teacher-Assistant-Knowledge-Distillation

[3] Contrastive Representation Distillation算法

https://github.com/HobbitLong/RepDistiller

[4] Zero-shot_Knowledge_Distillation算法

https://github.com/sseung0703/Zero-shot_Knowledge_Distillation

[5] net2net算法

https://github.com/soumith/net2net.torch

[6] fitnet算法

https://github.com/adri-romsor/FitNets

6 开源综述资料

接下来再给大家介绍两个综述性质的开源资料。

第一个是知识蒸馏综述项目，包括相关的论文合集，也包括一些开源算法的实现。

https://github.com/dkozlov/awesome-knowledge-distillation

第二个是迁移学习综述项目，包括相关的论文合集，开源代码。

https://github.com/jindongwang/transferlearning

其他类似的还有https://github.com/artix41/awesome-transfer-learning，https://github.com/AI-ON/Multitask-and-Transfer-Learning，资料收集爱好者不妨关注。

7 更多理论学习

如果想要系统性学习模型优化相关的理论，可以移步有三AI知识星球 -> 网络结构1000变 -> 模型压缩板块 -> 模型剪枝，量化与蒸馏板块，知识蒸馏与迁移学习的一些解读案例如下：

总结

知识蒸馏与迁移学习相比于大量数据进行监督学习的方式，更符合人类学习的特点，在工业界有着实际落地需求，学术界有很重要的研究意义。

知识星球推荐

有三AI知识星球由言有三维护，内设AI知识汇总，AI书籍，网络结构，看图猜技术，数据集，项目开发，Github推荐，AI1000问八大学习板块。

【杂谈】为什么邀请大家加入硬核知识星球有三AI

转载文章请后台联系

侵权必究

往期精选

NLP-模型压缩-知识蒸馏：TextBrewer工具包
u013250861的博客
06-28 570
TextBrewer为NLP中的知识蒸馏任务设计，融合了多种知识蒸馏技术，提供方便快捷的知识蒸馏框架。模型无关：适用于多种模型结构（主要面向Transfomer结构）方便灵活：可自由组合多种蒸馏方法；可方便增加自定义损失等模块非侵入式：无需对教师与学生模型本身结构进行修改支持典型的NLP任务：文本分类、阅读理解、序列标注等TextBrewer软标签与硬标签混合训练动态损失权重调整与蒸馏温度调整。
怎样才算是好程序员？关于好程序员与好代码的杂谈
AI天才研究院
05-21 8678
​怎样才算是好程序员？​· 具有优秀的技术技能，能写出干净整洁的代码。· 具有扎实的开发技术知识和解决问题的专业技术。· 了解编程的最佳实践以及何时使用它们。· 对编程有着持久的热情，并积极为团队做贡献。· 备受团队的其他成员尊敬和喜欢。积极的学习态度，无我之境要想在所在领域出类拔萃，你不需要任何花哨的学位，甚至不需要钱来投资——你所需要的是学习的态度，疯狂的求知欲和基于...
杂谈 | 当前知识蒸馏与迁移学习有哪些可用的开源工具？
AI科技大本营
01-12 1184
所有参与投票的 优快云 用户都参加抽奖活动群内公布奖项，还有更多福利赠送作者&编辑 | 言有三来源 |有三AI（ID:yanyousan_ai）【导读】知识蒸馏与迁移学习不仅...
Knowledge-Distillation-Toolkit:基于PyTorch和PyTorch Lightning的知识蒸馏工具包
03-18
知识蒸馏工具包 该工具包使您可以使用知识提炼来压缩机器学习模型。要使用此工具包，您需要提供一个教师模型，一个学生模型，用于训练和验证的数据加载器以及一个推理管道。该工具包基于和 ，因此，教师模型和学生模型必须是，数据加载器也必须是。 演示版 我们提供了两个使用此工具包并压缩机器学习模型的演示。在这些演示中，我们展示了如何创建学生和教师模型，推理管道，培训和验证数据加载器，并将它们传递到知识提炼工具包中。 压缩资源： 压缩WAV2VEC 2.0： 开始知识蒸馏培训！ 要开始知识提炼训练，您需要首先实例化类，然后调用方法。 在下表中，我们显示了KnowledgeDistillationTraining类的构造函数接受的参数。 参数名称 类型 解释 默认 teacher_model torch.nn.Module 教师模型。 None student_model torch.nn.Mo
精华推荐：知识蒸馏工具箱 —— 轻松实现模型压缩与优化
gitblog_00001的博客
06-17 623
精华推荐：知识蒸馏工具箱 —— 轻松实现模型压缩与优化 在人工智能和机器学习的飞速发展之下，如何高效地利用大型模型的知识来训练更轻量级的学生模型，成为了众多开发者关注的焦点。今天，我们要向大家隆重推荐一个开源宝藏——知识蒸馏工具箱。这个基于PyTorch和PyTorch Lightning的强大框架，让模型压缩不再是难以跨越的技术鸿沟。 项目介绍 知识蒸馏工具箱是一个专为模型压缩设计的开源库，它采...
知识蒸馏开源项目教程：HoyTta0/KnowledgeDistillation
gitblog_00166的博客
08-22 991
知识蒸馏开源项目教程：HoyTta0/KnowledgeDistillation 项目简介 本教程旨在详细解析GitHub上的开源项目KnowledgeDistillation，该项目专注于实现知识蒸馏技术。知识蒸馏是一种模型压缩方法，它通过让学生模型学习老师模型的知识来提高性能或减小模型大小。接下来，我们将深入了解此项目的目录结构、启动文件以及配置文件。 1. 项目目录结构及介绍 Knowled...
【机器学习】迁移学习概论
鑫宝的博客
09-10 2563
迁移学习(Transfer Learning)是一种机器学习技术,它旨在通过将在一个领域(源领域)学习到的知识迁移到另一个领域(目标领域),从而提高目标领域的学习效率。在传统的机器学习方法中,通常需要为每个新任务从头开始训练一个全新的模型,这不仅效率低下,而且当训练数据有限时,模型的性能也会受到影响。而迁移学习则允许我们利用已有的知识,加快新任务的学习过程,提高模型的泛化能力。基于实例的迁移学习(Instance-based Transfer Learning)
【机器学习】迁移学习的实践
鑫宝的博客
09-13 2483
在深度学习时代,基于参数的迁移学习(Parameter-based Transfer Learning)成为了最常用的迁移学习方法。这种方法通常分为以下几个步骤: 1. **预训练(Pre-training)**: 在源领域的大规模数据集上训练一个深度神经网络模型,作为基础模型。 2. **模型迁移(Model Transfer)**: 将基础模型的部分或全部参数迁移到目标任务中,作为初始化参数。 3. **微调(Fine-tuning)**: 在目标领域的数据上对迁移后的模型进行进一步训练,使其适应目标
有哪些让程序员受益终生的建议
热门推荐
启舰
10-28 21万+
从业五年多，辗转两个大厂，出过书，创过业，从技术小白成长为基层管理，联合几个业内大牛回答下这个问题，希望能帮到大家，记得帮我点赞哦。 敲黑板！！！读了这篇文章，你将知道如何才能进大厂，如何实现财务自由，如何在工作中游刃有余，这篇文章很长，但绝对是精品，记得帮我点赞哦！！！！ 一腔肺腑之言，能看进去多少，就看你自己了！！！ 目录： 在校生篇： 为什么要尽量进大厂？ 如何选择语言及方...
【杂谈】还能这么骗Github开源者？
鑫宝的博客
02-25 798
不过，赚信息差我是能理解的，毕竟很多行业都是靠赚信息差存活的。但是上面那位发布招聘的老哥，据说发布后就被喷的很惨，原因无他，就是因为他要面向的群体乃是全球。的项目贡献过 3 次代码，那么就有资格领取空投，贡献的代码越多获得的代币也就越多。3．发送GitHub用户名，若符合要求，即可获得200至500元现金奖励。感觉国内做信息差赚钱做的还是风生水起啊，前有国内。代币,一般有资格获得空投的开发者，大概能获得。同性交友平台，里面人才辈出，怎么可能是韭菜呢？5．GitHub主要用于赚信息差，不犯法违纪。
mmsegmentation-distiller：这是基于mmsegmentation的知识蒸馏工具箱
03-03
分段细分 该项目基于mmsegmentation（v-0.11.0），所有用法与相同，包括培训，测试等。 蒸馏器动物园 安装 设置新的conda环境： conda create -n distiller python=3.7 安装pytorch 1.3+ 安装mmdetection-distiller git clone https://github.com/pppppM/mmsegmentation-distiller.git cd mmsegmentation-distiller pip install -r requirements/build.txt pip install -v -e . 火车 #single GPU python tools/train.py configs/distiller/cwd/cwd_psp_r101-d8_distill_psp_r18_d8_
TextBrewer：基于PyTorch的知识蒸馏工具包，用于自然语言处理
02-03
| TextBrewer是用于自然语言处理的基于PyTorch的模型提炼工具包。 它包括来自NLP和CV领域的各种蒸馏技术，并提供了易于使用的蒸馏框架，使用户可以快速试验最新的蒸馏方法，以压缩模型的代价相对较小。性能，提高推理速度并减少内存使用量。 通过或检查我们的论文。 新闻 2020年11月11日 更新到0.2.1 ： 更加灵活的蒸馏：支持将不同批次的物料喂给学生和老师。 这意味着学生和老师的批次不再需要相同。 它可以用于提取具有不同词汇表的模型（例如，从RoBERTa到BERT）。 更快的蒸馏：用户现在可以预先计算并缓存教师的输出，然后将缓存提供给蒸馏器以节省教师的前行时间。 有关上述功能的详细信息，请参见。 MultiTaskDistiller现在支持中间功能匹配丢失。 Tensorboard现在记录了更详细的损失（KD损失，硬标签损失，匹配损失...）。 请参阅详细信息。 2020年8月27日 我们很高兴地宣布，我们的模型位于GLUE基准之上，请检查。 点击这里查看旧新闻2020年8月24日 更新到0.2.0.1 ： 修复了MultiTaskDistill
DistillFlow：简化大型语言模型蒸馏的利器
最新发布
gitblog_00624的博客
03-31 856
DistillFlow：简化大型语言模型蒸馏的利器 项目介绍 DistillFlow 是一个开源工具包，旨在简化和扩展大型语言模型（LLMs）的蒸馏过程，将这些大型模型压缩为更小、更高效的模型。DistillFlow 提供了一个灵活的管道，支持在多个 GPU 上进行蒸馏、微调和实验，并具备动态资源分配和自定义技术集成的能力。 项目技术分析 DistillFlow 的核心是模型蒸馏技术，这是一种将大...
知识蒸馏概述及开源项目推荐
@bangbang的博客
11-12 2310
​知识蒸馏，近年来越来越受到研究界的关注。大型深度神经网络取得了显著的成功，特别是在大规模数据的真实场景中，因为当考虑新数据时，过度参数化提高了泛化性能。然而，由于移动设备的算力和存储受限，在这些设备中部署DNN模型是一个巨大的挑战。为了解决这个问题，Bucilua等人（2006）首次提出了模型压缩，将信息从大模型或集成模型转移到训练的小模型中，并且不会显著导致精度下降。从大模型中学习小模型的方法后来作为知识蒸馏正式推广。​ 在知识蒸馏中，小型学生模型通常由大型教师模型监督。
知识蒸馏，知识迁移
朱小丰的博客
03-09 5506
1 什么是知识蒸馏，知识迁移 我们有一个训练好的教师网络Teacher Model 和 数据 和一个未训练好的学生网络Student Model。 我们需要学生网络有着与教师网络相似的，相近的能力。实现的方式就是知识蒸馏，知识迁移。 表现如图示：教师把知识传授给学生，学生学会了知识，就有和教师相似的能力。 2 为什么要使用知识蒸馏，知识迁移 项目实施通常会把模型部署到终端，然而终端的算力都是有限的。 教师网络往往是本身模型参数大，使用海量数据训练，算力要求也是巨大的，这是不适...
一文详解大模型蒸馏工具TextBrewer
张伟的专栏
08-04 2865
TextBrewer为NLP中的知识蒸馏任务设计，融合了多种知识蒸馏技术，提供方便快捷的知识蒸馏框架。模型无关：适用于多种模型结构（主要面向Transfomer结构）方便灵活：可自由组合多种蒸馏方法；可方便增加自定义损失等模块非侵入式：无需对教师与学生模型本身结构进行修改支持典型的NLP任务：文本分类、阅读理解、序列标注等TextBrewer软标签与硬标签混合训练动态损失权重调整与蒸馏温度调整。
笔记——知识蒸馏
lzay的博客
09-09 602
带有笔记的文章是最近正在研究的内容，质量有可能很差，只有自己看的懂，所以看的笔记的大致看看就可以，我也正在积累，等感觉没问题了就会重新整理再发一次 精确度上可以大大超过简单模型，但其巨大的计算成本使它们在实际应用中完全无法使用。 目前，有三种方法可以压缩神经网络，同时保持预测性能： 权值裁剪 量化 知识蒸馏 知识蒸馏： 让我们想象一个非常复杂的任务，比如对数千个类进行图像分类。通常，你不能指望ResNet50能达到99%的准确度。所以，你建立一个模型集合，平衡每个模型的缺陷。现在你有了一个巨大的模型，尽管它
原创 | 清华开源迁移学习算法库
数据派THU
08-01 711
作者：清华大数据软件团队机器学习组本文长度为1700字，建议阅读6分钟本文为你介绍Trans-Learn 算法库。Trans-Learn是基于PyTorch实现的一个高效、简洁的迁移学...
再无需从头训练迁移学习模型！亚马逊开源迁移学习数据库 Xfer ...
weixin_34175509的博客
02-01 325
雷锋网 AI 科技评论按：所谓的「迁移学习」，是指重新利用已训练的机器学习模型来应对新任务的技术。它给深度学习领域带来了许多好处，最明显的是，一旦无需从头开始训练模型，我们可以省下大量的计算、数据以及专业知识等资源。近期由亚马逊开源的 Xfer 数据库，可以让我们轻松应用及打造迁移学习原型，雷锋网(公众号：雷锋网) AI 科技评论将亚马逊算法工程师 An...
Java杂谈：深入源码与工具应用
标题中提到的“Java Knowledge - Miscelaneous”，直译为“Java知识 - 杂项”。Java是一种广泛使用的面向对象的编程语言，以其“一次编写，到处运行”的特性而闻名。杂项通常指的是不归入特定类别的一些知识点，因此...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值