在深度学习中有用的一些训练策略（持续补充）

最新推荐文章于 2025-10-23 19:32:11 发布
原创 最新推荐文章于 2025-10-23 19:32:11 发布 · 1.5k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了深度学习模型的优化方法，包括ResNeSt、Self-Attention、双线性池化等模型改进策略，以及MixUp、LabelSmooth、AutoAugmentation等训练策略，旨在提升模型性能和泛化能力。

1.模型改进方面

1) resnest

2) self-attention

3) 双线性池化

4) 模型集成

5) sknet

6) deformatableconv

7) dropblock

8) 特征金字塔

9) 激活函数，mish swish

2.训练策略

1) mixup

2) labelsmooth

3) auto augmentation

4) warm up

5) cosin learning rate

6) 大尺度图像

7) 模型级联

8) 困难样本挖掘

9) 深度监督

VanillaNet:极简主义在深度学习中的力量
m0_47867638的博客
06-05 8567
链接：https://arxiv.org/pdf/2305.12972v2.pdf基础模型的核心理念是“多而不同”，计算机视觉和自然语言处理领域的惊人成功就是例证。然而，优化的挑战和transformers模型固有的复杂性要求范式向简单性转变。在本研究中，我们介绍VanillaNet，一个包含优雅设计的神经网络架构。通过避免高深度，快捷方式和复杂的操作，如自我关注，VanillaNet令人耳目一新的简洁，但非常强大。每一层都被精心制作得紧凑而直接，非线性激活函数在训练后被修剪以恢复原始结构。
机器学习深度学习实战模板代码（持续更新）
weixin_45955767的博客
09-04 2119
数据预处理 有偏数据变正态分布 对数变换：可以让方差和均值呈现线性 data.apply(np.log) 减小偏度和峰度 data.apply(np.log).apply(scipy.stats.skew) #观察偏度 data.apply(np.log).apply(scipy.stats.kurtosis) #观察峰度 def plot_hist(df, variable, bins=20, xlabel=N...
深度学习中有哪些常见的训练技巧
a486259的博客
08-15 3325
自深度学习发展以来，就有很多关于优化器的研究者工作，优化器的目的是为了让损失函数尽可能的小，从而找到合适的参数来完成某项任务。目前业界主要用到的优化器有SGD、RMSProp、Adam、AdaDelt等，其中由于带momentum的SGD优化器广泛应用于学术界和工业界，所以我们发布的模型也大都使用该优化器来实现损失函数的梯度下降。带momentum的SGD优化器有两个劣势，其一是收敛速度慢，其二是初始学习率的设置需要依靠大量的经验，然而如果初始学习率设置得当并且迭代轮数充足，该优化器也会在众多的优化器中脱颖
深度学习训练模型调参策略
Suodislie的博客
05-31 2517
重要性：学习率>正则值>dropout 学习率：0.001，0.01，0.1，1，10  …….以10为阶数尝试 小数据集上合适的参数大数据集上一般不会差，可以先减少训练类别。   欠拟合： 表现形式：训练集，测试集准确率都很低 解决办法：增加网络层数，增加节点数，减少dropout值，减少L2正则值等等     过拟合： 表现形式：训练集准确率较高，测试集准确率比较低 解决
深度学习通用调优指南：模型调试与训练策略优化
最新发布
ggb_aaa的博客
10-23 552
核心逻辑是：先通过训练曲线、数据分布分析定位问题（如欠拟合、过拟合、数据不匹配），再根据任务特性选择适配的优化方案（如图像任务加注意力、文本任务用预训练嵌入），最后通过验证集性能验证优化效果，若未达预期则重新诊断。若训练集与验证集的准确率、损失均趋于稳定（如分类任务准确率稳定在 90%，损失稳定在 0.3），但距离目标性能（如 95% 准确率）仍有差距，需判断是 “欠拟合” 还是 “性能瓶颈”：​。正则化是对抗过拟合的核心手段，需根据任务类型和模型结构选择合适的方法，避免 “过度正则化” 导致欠拟合：​。
深度强化学习（5）策略梯度定理 & REINFORCE算法
weixin_58665941的博客
09-17 1258
虽然DQN能够解决连续的状态的问题，但是却无法处理连续动作空间的动作决策。而在实际应用中，很多场景的动作都是连续的，如自动驾驶中，需要决策车辆的速度、加速度、油门刹车的角度等，在游戏AI中，需要决策角色的移动和攻击的方向、距离、预判敌人的位置等。：在每种状态下，执行的动作是随机的，可以按照概率值选择动作（如Softmax输出执行每个动作的概率）。下，执行所有动作时的立即回报的均值。
深度学习训练策略--学习率预热Warmup
ytusdc的博客
08-24 5958
背景 学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。 其实在我们的大多数情况下，遇到 loss 变成 NaN 的情况大多数是由于学习率选择不当引起的。 一、Warmup的最初提出? Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些steps（15000steps，见最后代码1）或者epoches(5epoches，见最后代码2)，再修改为预先设置的学习来进行训练。 代码查看：https://bl
解锁PyTorch：训练策略的深度剖析与实战
远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
04-15 1055
在深度学习的广袤领域中，模型训练堪称最为关键的环节之一。它是将理论模型转化为实际可用工具的必经之路，涉及利用大量数据和强大计算资源来精细调整模型参数，从而使模型能够准确地捕捉数据中的模式和规律 。在这个复杂而又充满挑战的过程中，PyTorch 作为当下最流行的深度学习框架之一，发挥着举足轻重的作用。
9、深度学习在活动识别中的应用综述
b0c1d2的博客
09-28 30
本文综述了深度学习在人类活动识别（HAR）中的应用，重点探讨了时间特征提取、多模态特征融合、标注稀缺问题及类别不平衡问题的解决方案。文章分析了CNN、RNN及其变体在时间序列数据处理中的优势，比较了不同模型在多个数据集上的性能表现，并介绍了协同训练、主动学习和GAN等半监督与无监督方法的应用。同时，总结了解决类别不平衡的数据层面、算法层面和混合层面策略。最后，展望了多模态融合深化、模型轻量化、跨领域拓展等未来发展趋势，强调了深度学习在HAR中提升准确性与鲁棒性的潜力。
2024表格数据深度学习模型综述
数智笔记
11-06 7059
论文地址：https://arxiv.org/abs/2410.12034表格数据在医疗、金融和交通等行业广泛使用，由于其异质性和缺乏空间结构，给深度学习带来了独特的挑战。本调查回顾了针对表格数据的深度学习模型的发展，从早期的全连接网络(FCNs)到先进的架构如TabNet、SAINT、TabTranSELU和MambaNet。这些模型结合了注意力机制、特征嵌入和混合架构，以应对表格数据的复杂性。
22、深度学习在工业4.0中的影响与应用
rum55的博客
09-20 37
本文深入探讨了机器学习和深度学习在工业4.0中的关键作用与广泛应用，涵盖了监督学习、无监督学习、强化学习等主要方法及其在制造业中的实际应用。文章分析了当前工业4.0面临的安全、系统复杂性、数据滥用、集成和人才技能等核心挑战，并提出了相应的应对策略。通过对比不同算法的优缺点及典型案例分析，展示了深度学习技术如何提升生产效率与产品质量。同时展望了未来发展趋势，强调技术融合、模型优化、应用拓展与可解释性增强的重要性，为推动智能制造发展提供了全面参考。
深度学习 | 训练及优化方法
Joselynzhao
06-17 7307
训练及优化方法深度网络优化方法优化及调试策略:实践流程梯度消失与梯度爆炸Sigmoid 激活函数问题ReLU参数初始化学习率迭代次数batch sizeBatch 方差与 learning rate 关系Large-batch 魔咒正则化正则化技术概述数据增强技术数据集规范化目标函数及正则化 深度网络优化方法 优化及调试策略:实践流程 确定目标:误差度量及期望目标 建立端到端流程: 数据读取、预...
深度学习常用训练技巧
YXD0514的博客
08-27 1010
一些炼丹的trick，已有20种，正在补充完善。
深度学习训练技巧总结
热门推荐
夏日山间过
05-07 2万+
模型训练技巧最直接的就是几个超参数的设置 根据图片大小来选择网络和超参数 如果图片不是很大比如3030，这种情况下做分类就不能用VGG和Resnet这样的网络。此时要么把图像变大要么就是选择小的网络，或者把VGG里pooling的步长设置为１试试，如果类别不多（没有上千），那么直接使用小网络，如果是100100这样的大图片就采用VGG和Resnet这样的大网络。 根据图片类别数和数量来选择bat...
深度学习知识点训练技巧总结
weixin_44474718的博客
08-11 1452
2、防止过拟合（overfit）的方法 正则化：即在对模型的目标函数（objective function）或代价函数（cost function）加上正则项。 （L1正则与L2正则） 提前停止迭代：当迭代过程中准确率不再上升时停止，或者是损失函数停止下降的时候。 dropout：在每次训练过程中随机将部分神经元的权重置为0，即让一些神经元失效，这样可以缩减参数量。 数据集增广：重采样、加噪音、...
深度学习常见策略总结(优化器选择，防止过拟合策略）
Briwisdom的博客
10-22 5726
1. 优化器的选择 关于深度学习各种优化器的介绍和对比在网上有很多图文并茂的讲解，比如我上一篇博文转载的文章：深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）。有需要的可以移步去学习。 2. 防止过拟合策略 我们在进行深度学习模型训练时候，很容易出现过拟合现象：训练集准确率高，测试...
深度学习模型的24种优化策略
全性保真，不以物累形。
05-23 1万+
本文介绍了深度学习面临的四种挑战，以及24种深度学习优化策略。
使用深度监督策略来对你的模型进行优化
weixin_44943389的博客
07-09 656
深度监督策略是一种模型优化的方法，旨在通过在模型的中间层添加辅助监督信号，来帮助模型在训练过程中更好地学习。它不仅仅是一个优化策略，更是一种训练方法，能够提供更多的监督信号，从而加速模型收敛，改善模型性能。：在模型的中间层添加辅助分类器，为中间层的特征提供直接的监督信号，而不仅仅依赖于最后一层的监督信号。这种多级监督可以帮助中间层更好地学习特征表示，避免信息在深层网络中逐渐丢失。：由于每一层都有直接的监督信号，梯度在反向传播时更稳定，有助于加速模型的收敛速度。
深度学习中的优化策略
大泽之国
01-05 795
SGD w=w−lr∗∂ww = w - lr*\partial ww=w−lr∗∂w 其中 lrlrlr是学习速率 ∂w=∂loss∂w\partial w = \frac{\partial loss}{\partial w}∂w=∂w∂loss​ sgd_momentum v=mu∗v−lr∗∂wv=mu*v-lr*\partial wv=mu∗v−lr∗∂w w=w+vw = w + vw=...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值