finetune/迁移学习 问题

最新推荐文章于 2023-04-17 19:57:11 发布
最新推荐文章于 2023-04-17 19:57:11 发布
阅读量844 收藏 2
点赞数
分类专栏： 调参技巧
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013608336/article/details/82596663
版权
本文讨论了在使用VGG19进行迁移学习时遇到的过拟合问题，以及精度不高的情况。针对过拟合，提出了加dropout、正则化和减小模型复杂度的解决方案。对于精度不高，分析原因可能是数据库小且与预训练模型差异大，建议固定部分层并采用数据增强。学习率和batch size也被指出影响训练稳定性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主网络：VGG19
参数： imagenet
finetune最后一层，动作分类，10类,10类的cross entrophy初始化精度-ln0.1 =2.3

最大精度 loss 最小loss 精度
0.59 2.1 1.47 0.55
1. 最开始，精度上升，loss下降，到某一个点之后，精度上升，loss上升

问题分析：过拟合
解决方法
加dropout、从loss上升那一步重新开始，学习率减半

- 最大精度 loss 最小loss 精度
处理前 0.602 2.741 1.412 0.509
处理后 0.62 1.213 1.197 0.610

解决方法2 加正则化项
l1 正则化，模型更加稀疏，可用于特征选择

解决方法3

最低0.47元/天 解锁文章
迁移学习&finetune详解
m0_37769758的博客
04-14 1495
文章目录一.为什么要用迁移学习二.几种方式三.三种方式的对比四.具体训练策略建议 一.为什么要用迁移学习 1.站在巨人的肩膀上：在已经上线的基础模型的效果可以接受的情况下（表明模型有效，可以分辨数据集基础特征），没有必要重复造轮子，每次都在新数据集上从零开始训练。 2.训练成本低：后期的训练成本非常低，用CPU都完全无压力；或使用GPU，可在保证效果的同时提升速度。 3.适用于在业务中不断收集数据...
迁移学习花式Finetune方法大汇总
fareise的博客
03-20 1419
本文介绍了来自2018年以来ICML、CVPR等顶会的7篇论文，总结了Finetune的四种类型招式，通过更科学的Finetune方式，提升迁移学习效果。
pytorch学习系列（6）：不同的层设置不同的学习率（迁移学习）
weixin_41786536的博客
11-25 1311
pytorch，迁移学习，不同层设置不同的学习率
CNN
何必浓墨重彩
01-21 5743
Introduction这是斯坦福计算机视觉大牛李菲菲最新开设的一门关于deep learning在计算机视觉领域的相关应用的课程。这个课程重点介绍了deep learning里的一种比较流行的模型：Convolutional Neural Networks，简称CNN，主要利用CNN来做visual recognition，或者说是image classification，object recog
finetune 学习率要小
u013892042的博客
07-19 1977
与重新训练相比，fine-tune要使用更小的学习率。因为训练好的网络模型权重已经平滑，我们不希望太快扭曲（distort）它们（尤其是当随机初始化线性分类器来分类预训练模型提取的特征时）。 finetune的学习率要与训练到最后的学习率大致在一个数量级上。 ...
深度学习 —— 调整学习率（finetune）
aift的专栏
06-12 7097
PyTorch将深度学习中常用的优化方法全部封装在torch.optim中，其设计十分灵活，能够很方便的扩展成自定义的优化方法。 所有的优化方法都是继承基类optim.Optimizer，并实现了自己的优化步骤。下面就以最基本的优化方法——随机梯度下降法（SGD）举例说明。这里需重点掌握： 优化方法的基本使用方法 如何对模型的不同部分设置不同的学习率 如何调整学习率 # 首先定义一个LeNet...
训练技巧之tranfer learning
weixin_44987948的博客
10-20 344
YouTube视频 什么时候需要用到transfer learning？ 当我们在训练CNN时，已经找了很多数据集，也进行了数据增强等操作，但是得到的数据量还是太少，不足以满足我们训练网络的要求，这个时候，我们就可以进行transfer learning。 怎么进行transfer learning 需要借用别人已经训练好的模型，利用他们网络中的参数，在此基础上修改我们自己的网络。 4种不同的情况 1、若我们自己得到的数据量很少（small dataset），且能够找到和我们的训练任务差不多的别人的模型
迁移学习 fine tune(微调) 模型蒸馏
puspos的博客
08-31 1596
文章目录迁移学习: 把预训练模型参数迁移到新的模型上，帮助模型训练。应用场景手段fine tune/ fine tuning：微调，一种调参手段优点使用场景具体操作学习率设置使用哪些层权重multi-task learning 迁移学习: 把预训练模型参数迁移到新的模型上，帮助模型训练。 应用场景 数据集中只有少量的label data，直接训练效果很差，容易过拟合。 手段 fine tune/ fine tuning：微调，一种调参手段 y=wx，若w实际为5。 如果w初始化为0，需不断反向传播更新后得到
Pytorch之finetune使用详解
09-18
它通常用于深度学习模型的迁移学习过程中，可大幅减少训练时间和数据需求，同时保留预训练模型在大规模数据集上学到的知识。 在进行finetune之前，我们首先需要了解全局finetune和局部finetune的区别。全局finetune...
设置BatchSize
谢彦的技术博客
06-14 2484
BatchSize是非常重要的超参数，它不仅影响训练速度，也影响模型精度。本篇来讨论如何选择BatchSize。 BatchSize是否越大越好？ BatchSize一般指同时代入训练模型的实例个数，最直接的经验是如果GPU显存不大，又设置较大的BatchSize时直接报错“cuda runtime error(2): out of memory”。 是不是只要机器性能允许，就要设置尽可能大的Batch size呢？同时训练多个实例比逐个代入单个实例训练速度又能提高多少？ 下图为使用不同的batch
神经网络调优 --- batch_size
Ctrlturtle的博客
03-16 1747
batchsize和收敛速度/性能的关系 1. 一般来说，在合理的范围之内，越大的 batch_size 使下降方向越准确，震荡越小；但batch_size越大越容易陷入局部最优。 2. 小的 bath_size 引入的随机性更大，单次epoch耗时更久，且震荡大难以收敛，但一般会获得更好的泛化性能。 3. 同时，更小的bath_size需要更大的学习率learning_rate 调参经验 1. 当有足够算力时，选取batch size为32或更小一些，需要更长的训练耗时。 2. 算力不够时，..
深度学习：batch_size和学习率 及如何调整
热门推荐
皮皮blog
10-21 4万+
-柚子皮- 学习率衰减 import torch.optim as optim from torch.optim import lr_scheduler # 训练前的初始化 optimizer = optim.Adam(net.parameters(), lr=0.001) #学习率衰减 scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1) # # 每过10个epoch，学习率乘以0.1 # 训练过程中 for n in n_epoch: ...
迁移学习【二】：神经网络之微调(fine-turning)
QAQIknow的博客
04-06 6121
迁移学习——>神经网络微调
网络迁移学习率调整思路
bravozyz的博客
05-12 1688
在将HRNet从PyTorch框架向MindSpore迁移的过程中，由于初始学习率的选择不好，导致了最终精度没有达到预期要求。 文末有总结。 具体实验过程如下： 实验过程 优化器：SGD 初始学习率：0.01 学习率调整策略：poly miou精度变化： 整体上呈上升趋势，但是没有达到预期的0.81。 经过检查，在400–484周期，miou一直是呈上升趋势。因此我有了第一个猜想：收敛速度不够。 因此，我尝试了其他的优化器和初始学习率。 优化器：Momentum 初始学习率：0.01 学习率调整策
迁移学习darknet模型，epoch学习率应该怎么设置
haimianjie2012的专栏
06-24 4697
关于maxbatches与学习率的关系，参看：darknet分类，迁移学习，还没有达到预期，学习率降为0了，怎么破？ 关于cfg文件参数说明，参看：Darknet模型中cfg文件理解与说明 第一训练平安标注数据分析： 第一训练模型参数： batch= 16 subdivisions= 4 learning_rate=0.01 policy=poly power=4 max_batches=250000 学习曲线： 训练时间：2020年6月23日 16:00-2020年6月24日 10:00
【笔记】Finetune 和 各层定制学习率：Finetune是采用已训模型的权值参数作为我们模型的初始化参数
nyist_yangguang的博客
01-17 483
第一步：保存模型参数 若拥有模型参数，可跳过这一步。 假设创建了一个net = Net()，并且经过训练，通过以下方式保存： torch.save(net.state_dict(), 'net_params.pkl') 第二步：加载模型 进行三步曲中的第二步，加载模型，这里只是加载模型的参数： pretrained_dict = torch.load('net_params.pkl') 第三步： 初始化 进行三步曲中的第三步，将取到的权值，对应的放到新模型中： 首先我们创建新模型...
使用Adam优化器时学习率一般设置为多少？
weixin_35756373的博客
01-13 3411
Adam优化器的学习率一般设置为0.001至0.1之间。但具体值需要根据具体问题进行调整。
Uni-Mol微调（finetune）过程
Drug discovery
04-17 1040
是的，上述代码可以看作是一种finetune过程。# 该代码定义了一个分类头(ClassificationHead)用于对预训练模型进行微调，在微调过程中，使用新的训练数据对分类头进行训练，以实现新任务的分类目标。# 具体地，register_classification_head方法用于注册一个分类头到预训练模型中，而build_model方法则是用于构建完整的微调模型。
预训练模型迁移学习（Transfer Learning）
跟着大数据和AI去旅行
04-22 2万+
1、迁移学习 迁移学习在计算机视觉领域中是一种很流行的方法，因为它可以建立精确的模型，耗时更短。利用迁移学习，不是从零开始学习，而是从之前解决各种问题时学到的模式开始。这样，你就可以利用以前的学习成果(例如VGG、 Inception、MobileNet)，避免从零开始。我们把它看作是站在巨人的肩膀上。 在计算机视觉领域中，迁移学习通常是通过使用预训练模型来表示的。预训练模型是在大型基准数据集上训...
深度网络自适应与迁移学习
深度网络自适应是针对迁移学习中的一个关键问题，特别是当训练数据和测试数据分布不同时，传统的finetune方法可能无法有效地适应新环境。finetune虽然能加速训练过程并提高模型精度，但它依赖于训练数据和测试数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值