深度网络 Fine-tuning方法简介

最新推荐文章于 2025-10-18 10:17:23 发布
转载 最新推荐文章于 2025-10-18 10:17:23 发布 · 1.3k 阅读 · 3

本文探讨了迁移学习中的两种方法：利用预训练卷积网络作为固定特征提取器和微调卷积网络。介绍了如何根据新数据集的大小及与原始数据集的相似度选择适当的迁移学习策略，并提供了具体的实践指导。

转自：http://blog.youkuaiyun.com/wendox/article/details/52840372

迁移学习

有两种方式,一是卷积网络作为固定的特征提取器.拿到一个预训练好的卷积网络,去掉全连接层,吧其余的部分作为一个特征提取器.alex网络会计算一个4096D的特征向量,称之为cnn codes.有了这些特征很容易训练一个线性分类器. 
另外一种方式是fine-tuning卷积网络,是本文主要介绍的内容.该方法中不仅替换掉了顶层的全连接层,而且会改变预训练网络中的权值数据.这里既可以改变全部的网络参数,也可以只改变其中一部分的参数. 
使用已经训练过的模型参数,经过调整,改变模型的结构,重新开始训练,达到新的最优模型.如果原始的网络中没有新的层需要的层,那么就使用随机的权重.降低base_lr学习的速度,提高新引入的层的学习速度lr_mult.

caffe % ./build/tools/caffe train -solver models/finetune_flickr_style/solver.prototxt -weights models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel -gpu 0
 
  • 1

 
  • 1

使用-weight会告知caffe,需要加载一个网络模型,然后再开始训练

model zoo

可以下载其中预训练的模型来使用.model zoo

When and how to fine-tune

  1. the size of the new dataset (small or big),
  2. its similarity to the original dataset (e.g. ImageNet-like in terms of the content of images and the classes, or very different, such as microscope images). 
    一般根据以上2个因素判断,新使用的数据集的大小,两个数据集合的相似程度.可以知道的是网络的底层要比上层更加 generic 
    注意 
    ConvNet features are more generic in early layers and more original-dataset-specific in later layers

这里给出的建议是 
1. 如果新的数据集比较小,和原始的数据集合类似,那么fine-tuning是不需要的.最好十一训练一个基于cnn codes的线性分类器 
2. 如果新的数据集比较大,和原始的数据集合类似,因此可以自信的开始fine-tuning,而不必担心过拟合. 
3. 如果新的数据集比较小,和原始的数据集合差异性比较大.最好是只训练一个线性分类器.从顶层开始线性分类器是不合适的,最好是从比较低的层开始训练一个SVM分类器. 
4. 如果新的数据集比较小,和原始的数据集合差异性比较大.因此可以从头训练,但是有预训练的参数是有益的.

由预训练网络带的限制,我们需要遵循原始使用的网络结构,但是由于权重共享的使用,输出图像的大小是不受限制的.对于全连接层,仍然是可以的,因为全连接层可以转化为为卷积层. 
训练速度最好降低,是的底层的网络的参数变化比较缓慢.

refer

How transferable are features in deep neural networks? studies the transfer learning performance in detail, including some unintuitive findings about layer co-adaptations.

【自然语言处理】微调 Fine-Tuning 各种经典方法的概念汇总
溢流眼泪的博客
02-06 6333
（1）一些概念源自LLM（Chatgpt）和网络（百度/知乎等），笔者进行了初步检查。（2）由于其中的各种知识比较琐碎，为了形成较为结构化的知识体系，且使用最简单的、几乎无公式的介绍，故作此博客。（3）着重为自然语言处理领域NLP的，CV领域的不是很详细讲述了【机器学习与自然语言处理】预训练 Pre-Training 各种经典方法的概念汇总（4）比较简单或者过于的概念就不介绍了，默认大家都学会了。不然要写的太多了。比如损失，损失函数，神经网络几个概念，不认识的话单独先去学一下。
fine-tuning:利用已有模型训练其他数据集
热门推荐
fish的专栏
09-29 2万+
通过对ImageNet上训练出来的模型（如CaffeNet,VGGNet,ResNet)进行微调，然后应用到我们自己的数据集上
大模型微调（Fine-tuning）全解，需要了解的都在这里，大模型入门到精通，收藏这篇就足够了！
最新发布
DEVELOPERAA的博客
10-18 979
大模型微调指在已有大规模预训练模型基础上，用标注数据训练，进一步优化模型表现，以适应特定任务或场景需求。
如何fine tuning
xys430381_1的专栏
09-18 1627
为什么要fine－tuning？### 我们有自己的图像识别任务，然而我们的数据集太小，直接进行训练很容易出现过拟合现象 所以比较好的解决方案是先在一个大数据集中训练以提取比较准确的浅层特征，然后再针对这个训练过的网络利用我们的数据集进行训练，那么效果就会好很多。这个过程就是fine－tuning。 model zoo### 大家都注意到了这个情况，所以 （1）FeifeiLi带头创建imagen...
一文彻底搞懂大模型 - Fine-tuning三种微调方式
youmaob的博客
08-20 2097
LoRA（Low-Rank Adaptation）通过分解预训练模型中的部分权重矩阵为低秩矩阵，并仅微调这些低秩矩阵的少量参数来适应新任务。
一文全面盘点算法工程师大模型微调技能图谱
zenRRan的博客
04-15 651
随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从LoRA、QLoRA、AdaLoRa、ZeroQuant、Flash Attention、KTO、PPO、DPO、蒸馏技术到模型增量学习、数据处理、开源模型的理解等，几乎每天都有新的发展。我们总结了算法工程师需要掌握的大模型微调技能，并制作了大模型微调技能图谱，希望可以帮助大家将知识体系梳理清楚，为未来在大模型的工作与科研道路上节省时...
VITS-fast-fine-tuning训练准备的样例数据，可以快速体验该模型的语音合成效果
06-09
VITS采用Transformer网络处理输入文本序列，将其转化为声学特征，如梅尔频率倒谱系数（MFCCs）。同时，它使用一个条件变分自编码器（CVAE）来生成连续的声谱图。在训练过程中，模型试图最小化合成语音与真实语音之间...
fine-tuning介绍
01-20
在深度学习领域，Fine-tuning 是一种非常关键的技术，它涉及到迁移学习，即利用已经在大规模数据集上训练过的预训练模型来改善特定任务的性能。这是因为对于许多实际问题，我们可能无法获得足够大的数据集来从零开始...
深入理解迁移学习中的 Fine-tuning 方法
qq_17405059的博客
01-12 1539
Fine-tuning（微调）利用一个已经在大规模数据集（如 ImageNet）上预训练好的模型。冻结模型中前几层参数，只调整最后几层或特定层的权重，使模型能够适应新任务。新任务通常是小数据集，这样我们只需要训练少量参数，而不需要从头开始训练整个模型。Fine-tuning 是什么？通过冻结模型前几层，只训练最后几层，使模型能够适应新的任务。适合小数据集任务。节省计算资源。保留预训练模型的通用特征。新任务的数据量较小。新任务与预训练模型的任务相似（如都是图像分类任务）。
微调训练方法概述：Fine-tuning、Prompt-tuning、P-tuning 及其他高效技术
花千树的专栏
02-28 1336
在深度学习和自然语言处理的应用中，微调是一个至关重要的步骤。通过选择合适的微调方法，我们可以更高效、更精确地将预训练模型应用到特定任务中。不同的微调技术各有其优势和应用场景，选择适合自己任务的微调策略，将大大提升模型的性能与效率。
深度探索：机器学习中的Fine-tuning算法原理及其应用
qq_51320133的博客
04-15 1470
Fine-tuning作为迁移学习的重要手段，凭借其高效利用预训练模型、提升目标任务性能的优势，已在众多实际应用中展现出强大生命力。未来，随着预训练模型的不断丰富与优化，以及更先进Fine-tuning策略的研发（如适应性Fine-tuning、增量Fine-tuning等），Fine-tuning算法有望在更多领域发挥关键作用，进一步推动深度学习技术的普及与应用深化。同时，对Fine-tuning过程中模型泛化能力、过拟合控制等理论问题的深入研究，也将有助于提升Fine-tuning算法的稳定性和可靠性。
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
m0_59235945的博客
09-05 2321
BitFit对微调机制的一种积极探索，也很简单，通过仅调整 bias 效果就能有不错的效果，但没有具体阐述原理，就是通过猜测加实验得到的结果。同时，作者提出一个观点：微调的过程不是让模型适应另外的数据分布，而是让模型更好的应用出本身的表征能力。特点：训练参数量极小（约 0.1%）。在大部分任务上效果会差于 LoRA、Adapter 等方法。在每一个 Transformer 层都带上一些 virtual token 作为前缀，以适应不同的任务。
模型微调（fine-tuning）
shimmer_ghq的博客
12-08 4631
特征提取 微调首先要弄清楚一个概念：特征提取。 用于图像分类的卷积神经网络包括两部分：一系列的卷积层和池化层（卷积基） + 一个密集连接分类器。对于卷积神经网络而言，特征提取就是取出之前训练好的网络的卷积基，用新数据训练一个新的分类器。那么为什么要重复使用之前的卷积基，而要训练新的分类器呢？这是因为卷积基学到的东西更加通用，而分类器学到的东西则针对于模型训练的输出类别，并且密集连接层舍弃了空间信息。 卷积基的通用性取决于该层在模型中的深度。模型中更靠近输入的层提取的特征更通用，更靠近输出的层提取的特征更抽象
大模型开发 - 一文搞懂Fine-tuning（大模型微调）零基础入门到精通，收藏这一篇就够了
leah126的博客
08-04 1272
_************************************************__的本质**Fine-tuning（微调）：**一、微调的定义大模型微调是利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。二、微调的核心原因定制化功能：微调的核心原因是赋予大模型更加定制化的功能。通用大模型虽然强大，但在特定领域可能表现不佳。通过微调，可以使模型更好地适应特定领域的需求和特征。
大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
2301_79455190的博客
03-17 3940
BitFit对微调机制的一种积极探索，也很简单，通过仅调整 bias 效果就能有不错的效果，但没有具体阐述原理，就是通过猜测加实验得到的结果。同时，作者提出一个观点：微调的过程不是让模型适应另外的数据分布，而是让模型更好的应用出本身的表征能力。特点：训练参数量极小（约 0.1%）。在大部分任务上效果会差于 LoRA、Adapter 等方法。在每一个 Transformer 层都带上一些 virtual token 作为前缀，以适应不同的任务。
pytorch深度学习和入门实战（五）如何进行fine-tuning
熊猫小妖的AI世界
10-08 4667
目录基本内容1.什么是fine-tuning？以下是常见的两类迁移学习场景：预训练模型2.何时使用Fine-tune、如何使用？3 实践建议基本过程pytorch提供哪些model基本代码 基本内容 1.什么是fine-tuning？ 在实践中，由于数据集不够大，很少有人从头开始训练网络。常见的做法是使用预训练的网络（例如在ImageNet上训练的分类1000类的网络）来重新fine-tuning（也叫微调），或者当做特征提取器。 以下是常见的两类迁移学习场景： 1） 卷积网络当做特征提取器。使用在Imag
使用pycaffe进行的fine-tuning的过程
Losteng的博客
06-22 3320
最近在进行caffe的fine-tuning的实验，在此做个简单地介绍和总结，方便以后的查询。 pre-trainning 与 fine-tuning 简单介绍 在使用大型网络的时候，经常是自己的数据集有限，为此常常会使用现已成熟的网络结构，如：alexnet，Googlenet，vggnet等，可以使用之前在开源社区中已经有人训练好的参数文件（.caffemodel），进行网络的初始化，然后
Fine-Tuning和Tuning
07-04
在机器学习和深度学习领域中，**Fine-Tuning** 和 **Tuning** 是两个常被提及的概念。虽然它们都涉及对模型的调整过程，但在具体含义、应用场景及技术实现上存在显著区别。 ### Fine-Tuning（微调） Fine-Tuning 通常指的是在一个已经预训练好的模型基础上，针对特定任务或数据集进行进一步的参数调整。这一过程通常保留了原始模型的大部分结构和参数，并在此基础上使用新的数据对模型进行再训练，以适应新任务的需求。根据是否调整全部参数，可以分为全参数微调（Full Fine-tuning）和部分/参数高效微调（Parameter-Efficient Fine-tuning, PEFT），例如 LoRA（Low-Rank Adaptation）[^3]。 Fine-Tuning 的主要优势在于它能够利用预训练模型所学到的通用特征表示，并将其迁移到特定任务中，从而减少从头开始训练所需的数据量和计算资源。这种方式非常适合需要高精度或领域特定知识的任务，如医学图像分析、法律文本理解等[^1]。 ### Tuning（调优） Tuning 是一个更广泛的概念，涵盖了所有类型的模型参数调整过程，包括但不限于 Fine-Tuning。它通常指代的是在模型开发过程中，为了提升模型性能而对超参数（如学习率、批处理大小、网络层数、激活函数类型等）进行调整的过程。这些调整可能发生在模型训练的不同阶段，目的是找到最优的模型配置，使得模型在验证集或测试集上的表现达到最佳[^2]。 此外，Tuning 还可能涉及模型架构的选择与优化，比如通过神经网络架构搜索（Neural Architecture Search, NAS）来自动寻找最适合当前任务的网络结构。 ### 区别与应用场景 - **Fine-Tuning** 更侧重于基于已有预训练模型，在目标任务上进行快速适配。适用于有少量目标域数据但希望获得较好性能的情况。 - **Tuning** 则更多关注于整个模型训练过程中的参数和超参数优化，适用于模型开发初期或没有现成预训练模型可用的情形。 两者在实际应用中常常结合使用，例如先对模型进行 Fine-Tuning 以快速适应新任务，然后通过 Tuning 调整超参数以进一步提升模型性能。 ```python # 示例：使用 Hugging Face Transformers 库进行简单的 Fine-Tuning from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2) training_args = TrainingArguments( output_dir="./results", num_train_epochs=3, per_device_train_batch_size=16, evaluation_strategy="epoch" ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, tokenizer=tokenizer ) trainer.train() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值