迁移学习 fine tune(微调) 模型蒸馏

最新推荐文章于 2025-06-06 15:15:46 发布
原创 最新推荐文章于 2025-06-06 15:15:46 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文探讨了迁移学习如何通过预训练模型参数迁移来提升模型训练效果，特别是在数据有限的情况下。模型蒸馏作为分支之一，通过教师模型的知识传递给学生模型，以压缩并增强模型性能。微调（fine-tuning）作为一种调参手段，通过较低学习率对预训练模型的部分或全部层进行训练，以适应新任务。根据数据量，可以选择只调整最后一层或部分层的权重，甚至结合多任务学习来优化模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

迁移学习: 把预训练模型参数迁移到新的模型上，帮助模型训练。

应用场景

数据集中只有少量的label data，直接训练效果很差，容易过拟合。

分支

模型蒸馏/压缩 Distillation

就是用户停留时长、（广告）曝光比列之类的 后验特征统计的特征，这种信号强， 只能离线获取的特征【线上无法获得】加入 模型中 去蒸馏

离线环境下，会同时训练两个模型：一个学生模型和一个教师模型。其中教师模型额外利用了优势特征，则准确率更高。将教师模型蒸馏出来的知识传递给学生模型，辅助其训练，提升学生的准确率。
线上服务时，只用学生模型进行部署，由于输入中不依赖优势特征，则保证了线上线下特征的一致性。
在这里插入图片描述

作用

压缩模型体积

手段

fine tune/ fine tuning：微调，一种调参手段

y=wx，若w实际为5。
如果w初始化为0，需不断反向传播更新后得到5。
但直接初始化为4.7【相当于给一个pre-trained model】，之后fine tune【后面更新w的过程】,能很快得到5

最低0.47元/天 解锁文章
puspos
关注
模型压缩-之知识蒸馏与迁移学习
y330388094的博客
01-03 1218
‌：首先，定义一个参数量较大、学习能力强的教师模型（Teacher Model），和一个参数量较小、学习能力较弱的学生模型（Student Model）‌。‌。
大模型蒸馏与大模型微调技术有啥差别?
kcarly的专栏
02-01 4642
大模型蒸馏（Knowledge Distillation）蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）的技术。通过训练学生模型模仿教师模型的行为，实现模型压缩和性能保留的目标。蒸馏过程通常包括两个阶段：预训练阶段（教师模型训练）和知识传递阶段（学生模型训练）。大模型微调（Fine-tuning）微调是指在预训练的大模型基础上，通过少量标注数据的再训练，使模型适应特定任务的需求。微调可以分为全量微调和参数高效微调（如PEFT）。
迁移学习的模型蒸馏与知识迁移
AI天才研究院
12-27 1348
1.背景介绍 迁移学习是一种深度学习技术，它可以帮助我们解决当我们有一个已经训练好的模型，需要在一个新的、相似的任务上进行学习时，如何更快地获得更好的性能的问题。这种技术的核心思想是，通过利用已有模型的知识，来加速新任务的学习过程。 模型蒸馏(Distillation)是迁移学习中一个重要的技术，它可以帮助我们将一个大模型(teacher model)的知识转移到一个小模型(student m...
【小白教程】一文搞懂大模型的预训练、微调和蒸馏，收藏这一篇就够了！！
最新发布
Android23333的博客
06-06 690
初学者常对大模型的预训练（Pre-training）、微调（Fine-tuning）和蒸馏（Distillation）感到困惑，三者虽均属模型训练，但目标、数据和实现方式差异显著。 预训练使用海量无标注标注数据（如互联网文本、图像库）进行通识教育（大学基础课程）；微调使用专业领域标注数据（如医疗影像、法律文书、代码库）进行专业培训（入职后的岗位技能培训）；蒸馏使用教师模型的输出（如概率分布、推理链）进行经验传承（老员工带新人）。
使用NNI对BERT模型进行粗剪枝、蒸馏与微调
qq_20144897的博客
05-03 1万+
使用NNI框架对BERT模型进行粗剪枝、蒸馏与微调
深度学习的Fine-tuning相关概念分析：微调 迁移学习 蒸馏学习 元学习
disanda的专栏
04-28 1456
这里的相关概念都是基于已有预训练模型，就是模型本身已经训练好，有一定泛化能力。需要“再加工”满足别的任务需求。当下GPT语言模型逐步流行，对模型的Fine-tuning也将成为趋势，借此机会，我来分析下相关概念。
如何从大型模型（BART）fine tune一个小模型及代码实现
weixin_43718786的博客
05-19 7001
本文目的是从上游大型模型进行知识蒸馏以应用于下游自动摘要任务，主要总结了自动摘要目前面临的难题，BART模型的原理，与fine tune 模型的原理。对模型fine tune部分进行了代码复现，通过fine tune使得student模型能够在一块8G显存的GPU上进行训练。
一文读懂LLM Fine Tuning（微调）
2401_85377976的博客
08-12 1350
一个普遍的误解是：人们认为微调(Fine-Tuning) 是 LLM 获取新知识的唯一 (或最佳) 方式。事实并非如此。无论是为产品添加智能协作助手，还是使用 LLM 分析存储在云端的大量非结构化数据，企业的实际数据和业务环境才是选择合适 LLM 方法的关键因素。在许多情况下，与传统的微调方法相比，采用其他策略往往更能有效地实现企业的目标。这些策略可能操作复杂度更低、对频繁变化的数据集具有更强鲁棒性、或者能产生更可靠准确的结果。那么，何为LLM Fine Tuning？
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
2401_85377976的博客
09-05 1347
BitFit对微调机制的一种积极探索，也很简单，通过仅调整 bias 效果就能有不错的效果，但没有具体阐述原理，就是通过猜测加实验得到的结果。同时，作者提出一个观点：微调的过程不是让模型适应另外的数据分布，而是让模型更好的应用出本身的表征能力。特点：训练参数量极小（约 0.1%）。在大部分任务上效果会差于 LoRA、Adapter 等方法。在每一个 Transformer 层都带上一些 virtual token 作为前缀，以适应不同的任务。
【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习...
hacker_long的专栏
06-01 738
大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享模型蒸馏的核心技术点。作者&编辑 | 言有三 1 什么是模型蒸馏一般地，大模型往往是单个复杂网络或者是若干网络的集合，拥...
再看增强大模型推理能力的四种范式及蒸馏微调范式具体实现
2401_85325726的博客
02-11 872
本文主要回顾了增强大模型推理能力的四种范式以及使用蒸馏微调方式进行推理能力蒸馏的数据集、工具以及一个例子。趁热打铁，然后深入进去，能更好的理解技术本身。
微调和蒸馏大模型的详细技术比较：创建自我优化、极具适应性的AI系统
bugyinyin的博客
02-28 1195
LLM 已经彻底改变了人工智能，特别是具有数十亿到数百亿参数的模型，使其在各种自然语言处理（NLP）任务中实现了最先进的表现。然而，它们庞大的体量带来了计算效率、适应性和部署可行性方面的挑战。微调和蒸馏这两种主要技术已经成为关键的优化策略。
模型蒸馏、模型微调、RAG解释
puxuanai1459的博客
02-17 675
模型蒸馏、模型微调、RAG解释
微调预训练模型的新姿势——自集成和自蒸馏
hwaust2020的博客
06-04 1054
文章目录1、什么是自蒸馏？2、为什么要自蒸馏？3、如何进行自蒸馏？4、通过自蒸馏我们可以得到什么？ 转载来源：https://zhuanlan.zhihu.com/p/133804801 论文：Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation 链接：https://arxiv.org/abs/2002.10345 作者：Yige Xu, Xipeng Qiu, Ligao Zhou, Xuanjing Huang 本文提
迁移学习（Transfer Learning）、微调（Fine Tuning）
u013250861的博客
02-11 732
参考资料： 模型微调（Finetune）
迁移学习，知识蒸馏，教师-学生网络
chenran187906的博客
10-12 8105
1. 迁移学习 迁移学习( Tranfers Learning)是机器学习的一个分支，只是神经网络太火了，最近研究和神经网络靠。迁移学习的初衷是节省人工标注样本的时间，让模型可以通过已有的标记数据（source domain data）向未标记数据（target domain data）迁移。 换句话说，迁移学习就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存...
大模型微调和蒸馏是什么？什么时候用蒸馏？什么时候用微调？
2401_83450572的博客
03-20 1182
模型蒸馏是一种。
迁移学习——Fine-tune
热门推荐
小花生的博客
07-04 5万+
迁移学习背景： 在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难得到。我们看到Web应用领域的发展非常快速。大量新的领域不断涌现，从传统的新闻，到网页，到图片,再到博客、播客等等。传统的机器学习需要...
fine-tune
YQ8023family的博客
03-29 946
翻译：微调 指的是：就是用别人训练好的模型，加上我们自己的数据集，来训练新的模型。fine tune相当于使用别人的模型的前几层，来提取浅层特征，然后在最后再落入我们自己的分类中。 好处：不用完全重新训练模型，提高效率，在比较少的迭代次数之后得到一个比较好的效果。 适用于：数据量不是很大的情况 ...
迁移学习流程
03-11
<think>好的，我需要回答用户关于迁移学习完整流程和步骤的问题。首先，我得回想一下迁移学习的基本概念和分类，确保自己理解正确。根据提供的引用，迁移学习可以分为不同的类别，比如基于样本、特征、模型和关系的迁移，还有深度迁移学习。用户需要的是完整的流程，所以得从整体上分步骤说明。 接下来，我应该按照通常的项目流程来组织步骤。一般来说，流程包括问题分析、数据准备、模型选择、迁移方法应用、模型训练、评估优化和部署应用。每个步骤都需要详细说明具体做什么。比如，问题分析阶段需要明确源领域和目标领域，数据准备可能涉及数据预处理和对齐。 然后，考虑用户可能需要的具体方法，比如特征迁移中的特征选择或映射，模型迁移中的预训练和微调。结合引用中的内容，finetune是一个常用的技巧，需要提到如何调整学习率和冻结层。此外，引用提到的强化学习方法应用于样本选择，这部分可以作为优化策略的例子。 还需要确保回答符合用户的要求：结构清晰，步骤分明，引用相关文献。要检查每个步骤是否有引用支持，比如迁移学习分类引用[1]，finetune技巧引用[2]，强化学习部分引用[3]。同时，避免使用Markdown格式，保持语言自然。 最后，生成相关问题时要围绕迁移学习的不同方面，比如流程步骤、方法差异、数据对齐挑战、微调技巧和应用场景。确保问题覆盖用户可能感兴趣的扩展内容，帮助他们深入理解。</think>迁移学习的完整流程和步骤可分为以下七个阶段，结合理论方法与实际应用展开说明： ### 一、问题分析与领域定义 1. **明确源领域与目标领域** 确定源领域（已有知识的领域）和目标领域（待解决问题的领域），分析两者的关联性。例如将ImageNet图像分类模型迁移到医疗影像分类任务[^2] 2. **定义迁移类型** 根据引用[1]的分类体系，确定属于同构迁移（特征空间相同）还是异构迁移（特征空间不同），选择对应的迁移方法 ### 二、数据准备与预处理 $$数据分布公式：P_{source}(X) \neq P_{target}(X)$$ 1. 完成数据标注（目标域数据量少时可使用半监督标注） 2. 特征对齐：通过最大均值差异(MMD)等方法缩小域间差异 3. 数据增强：特别适用于目标域数据稀缺场景 ### 三、迁移方法选择 | 方法类型 | 核心技术 | 适用场景 | |----------------|---------------------------|-----------------------| | 基于特征迁移 | 特征映射/对抗训练 | 域差异较大时 | | 基于模型迁移 | 参数冻结/finetune | 相似任务 | | 基于关系迁移 | 图神经网络/知识蒸馏 | 结构化数据迁移 | ### 四、模型构建与迁移实施 1. **预训练模型加载** 使用在源领域训练好的模型（如ResNet/VGG） ```python from torchvision import models model = models.resnet18(pretrained=True) ``` 2. **网络结构调整** 保留底层特征提取层，替换顶层分类器 3. **迁移策略实施** - Fine-tune技巧：初始阶段冻结底层参数，后期解冻微调 - 对抗训练：通过域分类器实现特征对齐 ### 五、模型训练与优化 1. 两阶段训练法： - 第一阶段：固定特征提取层，仅训练新增层 - 第二阶段：以较小学习率微调整个网络 2. 强化学习应用：如引用[3]所述，使用Q-Learning优化样本选择策略 ### 六、效果评估与迭代 1. 域适应度评估：计算域间差异指标 2. 性能验证：在目标域测试集验证准确率 3. 负迁移检测：当迁移效果差于单独训练时需调整策略 ### 七、部署与应用 1. 模型轻量化处理（知识蒸馏/量化） 2. 持续学习机制：应对目标域数据动态变化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值