训练深度模型的优化问题（十九）

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 600+累计阅读 688平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄11年

关注

原创最新推荐文章于 2026-05-06 18:38:57 发布 688 阅读 AI 写同款· GEO 优化 ›

花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练、无监督预训练）目录 0. 前言 1. 学习率衰减 2. 调参策略 3. 贪心监督预训练 4. 贪心逐层无监督预训练如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（十八）迁移学习和多任务学习花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训... 阅读详情

收录于

深度学习

当前文章被收录于：

深度学习

22 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#深度学习 #算法 #优化

[二十九]深度学习Pytorch-图像分割Unet 深度学习Pytorch-图像分割Unet 阅读详情

相关推荐

花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）

目录 0. 前言 1. 调试模型顺序 2. 偏差方差的解决方法 3. 数据集的选取划分 4. 数据不匹配问题 5. 评估指标的选取 6. 贝叶斯最佳误差如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（十八）迁移学习和多任务学习花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）花书+...

今天你学习了吗 1180

(持续更新学习)yolov8中设置参数

例如，在指数衰减中，学习率会随着训练的进行按照一定的指数规律逐渐减小。都被设置为 0.001，这意味着初始学习率是 0.001，并且可能有一个与之配套的学习率衰减策略，使得学习率随着训练的进行逐渐减小。例如，如果使用学习率衰减策略，每个 epoch 的学习率可能是前一个 epoch 的。：如果使用动态调整学习率的策略（如学习率衰减），可能需要较少的 epoch，因为学习率的变化有助于模型在训练过程中保持活跃。：简单的模型可能在较少的 epoch 后就能收敛，而复杂的模型可能需要更多的 epoch。

m0_73406727的博客 6475

Pycharm（十九）深度学习

深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。

higerwy的博客 1815

YOLOv8训练参数详解

参考这里的定义双焦点损失（DFL）双焦点损失（DFL）缓解了分类和语义分割中的类不平衡问题。此损失函数的灵感来自焦点损失（FL）函数的特性，该函数加剧了数据点的损失，在预测输出和实际输出之间产生较大差异。因此，如果由于类不平衡或其他一些原因，数据点难以分类，FL 使神经网络更多地关注该数据点以及类似的数据点。DFL采用了这一思路，并通过增强梯度条件提高了FL的性能。

githubcurry，985cs博士在读 2万+

第十九篇 ResNet——论文翻译

更深的神经网络更难训练。我们提出了一个残差学习框架，以简化比以前使用的网络更深的网络的训练。我们明确地将层重新表述为参考层输入学习残差函数，而不是学习未引用的函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从显着增加的深度中获得准确性。在 ImageNet 数据集上，我们评估深度高达 152 层的残差网络——比 VGG 网络 [41] 深 8 倍，但仍然具有较低的复杂性。这些残差网络的集合在 ImageNet 测试集上实现了 3.57% 的错误率。

AI浩 1566

深度学习作业lr_utils和对应数据集

深度学习作业lr_utils和对应数据集，对应官网上给的代码，加了一些注释，个人对代码的理解，希望对大家有用，代码保存路径见本人博客

深度学习训练之学习率LR系统总结

文章目录1、StepLR2、MultiStepLR3、ExponentialLR4、CosineAnnealingLR5、CyclicLR6、ReduceLROnPlateau 1、StepLR 先上API： # optimizer：优化器 # step_size：每隔多少epoch改变学习率lr # gamma=0.1：训练到这一部分epoch×上一epoch的lr torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1,last_e

qq_23022733的博客 3931

Arduino--土壤湿度传感器使用（电阻式）

最近买了一个土壤湿度检测传感器，实物图是这样的：我买这个模块是想要得到土壤湿度的模拟量。但我买的时候忘了买左边的蓝色模块，我开始以为这个模块是有运放功能的，但实际它是一个电压比较器和一个分压电路。其模块的接线如图：该模块的四线是带模拟量输出的，三线的只输出一个到达阈值的标志量。该模块的原理图如下：该模块的测试原理为：把土壤当成一个可变电阻，随着土壤含水量的增加，土壤电阻减小。而该传感器其实就是两个电极，用来接土壤这个可变电阻。一般湿度的土壤电阻大概在几百K左右，其串连的分压电阻应该在这个数量级。

weixin_41866783的博客 1万+

深度学习学习率(lr)调参

lr range test用于学习率lr的选择

m0_52232795的博客 1万+

vesta软件_分子动力学计算实战：利用 OVITO 软件找弗伦克尔缺陷和位错环分析

今天继续和大家分享这篇纯分子动力学(MD)的 Nat. Comm. 文章(DOI：10.1038/s41467-018-07102-3)。上期推文(从一篇 Nat. Comm. 学习经典分子动力学基本知识和相关软件基本操作 (一))，我们借用该文章的 fig.1 简单介绍了如何用文中所提到的 LAMMPS 软件来实现材料中级联碰撞过程。但是，想完整的展示类似该文章的 fig.1，单纯利用...

weixin_39524842的博客 5983

Cesium实战：如何在前端直接渲染TIFF影像（附完整代码与避坑指南）

本文详细介绍了如何在前端利用Cesium直接加载和渲染TIFF影像的完整技术方案。针对TIFF格式的地理影像数据，文章提供了从文件解析、坐标转换到像素处理与Cesium集成的全流程代码实现，并分享了性能优化与常见问题的避坑指南，帮助开发者高效实现三维地理可视化。

weixin_29290947的博客 316

深度学习：学习率learning rate 的设定规律

Introduction学习率 (learning rate)，控制模型的学习进度：学习率大小学习率大学习率小学习速度快慢使用时间点刚开始训练时一定轮数过后副作用1.易损失值爆炸；2.易振荡。1.易过拟合；2.收敛速度慢。学习率设置在训练过程中，一般根据训练轮数设置动态变化的学习率。刚开始训练时：学习率以 0.01 ~ 0.001 为宜。一定轮数过后：逐渐减缓。接近训练结束：学习速率...

qq_33485434的博客 9万+

初识机会网络仿真器ONE中ExternalMovement移动模型（导入外部移动数据）

最近半个月一直在研究ONE中关于ExternalMovement移动模型的源代码，在网上几乎没有找到相关的资料，很是苦恼，如果有共同研究方向的小伙伴欢迎联系我，共同讨论进步。下面记录一下几点感悟： 1、使用外部数据的前提是在ONE的配置文件中增加及修改相关代码： Group.movementModel = ExternalMovement ExternalMovement.file = move...

qq_36974792的博客 659

在西瓜数据集上训练_实验笔记—深度学习模型训练技巧四

点击蓝字关注我们AI研习图书馆，发现不一样的世界炼丹笔记深度学习炼丹笔记四一、深度学习建模与调试流程首先，我们需要查看训练集上的模型表现结果怎么样。当然，一些特殊的机器学习模型没必要这么做，比如决策树、KNN、Adaboost 之类的传统算法，理论上在训练集上一定能做到完全正确，因此没有必要进行检查的。Deep Learning 里面过拟合并不是首要的问题，或者说想要把神经网络训练得好，...

weixin_39598501的博客 324

奇异值分解（SVD）C++实现

奇异值分解SVD（紧奇异值分解，截断奇异值分解）C++实现

weixin_45804601的博客 4172

永磁同步电机控制笔记：foc控制原理通俗讲义

引言到此为止，永磁同步电机控制相关文章已经写了7篇，其中simulink仿真系列文章5篇，控制笔记系列文章2篇，恍惚间感觉少了一篇概论，在此插入一篇，也算是对入坑电机控制一年半来的知识梳理。文章目录引言一、同步电机是怎么转起来的二、什么样的旋转磁场效率最高三、怎么精准控制旋转磁场的方向四、怎样调节dq轴电流一、同步电机是怎么转起来的永磁同步电机结构如下：外围是定子绕组，中间为永磁体，设...

搞电机的博客 2万+

【学习笔记】【DBN】十九——深度信念网络DBN

本篇简要介绍深度信念网络DBN，是一个不太常见的神经网络。一、DBN概述深度信念网络（Deep Belief Nets，DBN），既可用于非监督学习，类似于一个自编码机；也可以用于监督学习，作为分类器使用。从非监督学习来讲，其目的是尽可能地保留原始特征的特点，同时降低特征的维度。从监督学习来讲，提高分类的准确率。二者都是对特征进行学习的过程，即如何得到更好的特征表达。作为神经网络，DBN由若干神经元组成，组成原件是受限玻尔兹曼机（RBM）。二、RBM RBM有两层神经元，一层叫做显层（

杨的博客 1万+

SAP SmartForms字体：从OTF缓存溢出到完美解决

精准诊断：遇到错误，首先区分是图片过大还是字体嵌入导致。删除图片测试是最快的判别方法。字体上传规范始终从SE73入口上传用于表单打印的字体。强烈建议应用SAP Note 1301018，确保上传时勾选“不替换其他字体”，避免系统自动替换引发的意外问题。如需为同一字体族上传粗体、斜体等变体，请在SE73初始屏幕上勾选对应的属性框（如BOLD），然后分别上传对应的字体文件（如上传过程中，系统会提示输入RTF控制序列信息，这是确保打印预览正常显示的关键步骤，必须正确填写。方案选型快速止血：采用方案一（

Pegasus666的博客 295

PyTorch深度学习笔记（十九）神经网络模型训练实战

课程学习笔记

浅汐入梦的博客 1798

【2026OD新机考】【哈希表】20260422-文章特征提取【Py/Java/C++/C/JS/Go六种语言OD真题】【欧弟算法】全网注释最详细分类最全的华子OD真题题解

90+天陪伴式学习，100+直播课时，300+动画图解视频，500+LeetCode经典题，500+华为OD真题/大厂真题，还有简历修改、模拟面试、陪伴小群、资深HR对接将为你解锁。这道题的本质是多集合交集问题的变形，属于非常典型的哈希表应用题。，储存全局的每个片段中，各个字符最少出现的次数。表示该字母并非所有片段的公共字母。，按照顺序构建答案即可。没有字母在所有三个字符串中都出现。每个字母在各字符串中都至少出现。次，所以结果中每个字母出现一次。这样，当上述循环结束后，最终。显然在上述代码中，如果字母。

weixin_48157259的博客 66

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

DeepSeek后训练：监督微调策略，开启模型优化新时代

《DeepSeek-V3后训练：监督微调策略优化》介绍了DeepSeek-V3模型在后训练阶段的关键优化技术。文章详细阐述了监督微调（SFT）策略，包括针对推理数据（数学、代码等）和非推理数据（创意写作等）的不同处理方法。通过结合专家模型生成数据、强化学习优化以及人工标注验证，模型在150万实例数据集上实现了性能提升。两轮微调采用余弦退火学习率调度和样本掩码策略，有效提升了模型任务表现。本文节选自陈敬雷新书《GPT多模态大模型与AI Agent智能体》，配套视频课程可进一步学习相关技术。

weixin_52610848的博客 696

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

系统学习深度学习（二十九）--模型压缩

参考：https://blog.youkuaiyun.com/wspba/article/details/75671573 若有不对，欢迎指正，先谢了目前，通常意义上的网络模型压缩，主流思路有两个方向，一个是设计更小的网络模型，这个侧重轻量级网络模型设计，如SqueezeNet，MobileNet，ShuffleNet等，可以根据实际精度要求，不断裁剪模型，调试优化。另外一种思路是网络模型结构不变，通过...

工作笔记 1万+

Camera2Demo

在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

PyTorch框架学习十九——模型加载与保存

PyTorch框架学习十九——模型加载与保存一、序列化与反序列化二、PyTorch中的序列化与反序列化1.torch.save2.torch.load三、模型的保存1.方法一：保存整个Module2.方法二：仅保存模型参数四、模型的加载1.加载整个模型2.仅加载模型参数五、断点续训练距离上次的学习笔记时隔了正好一个月。。。下面继续！其实深度学习的五大步骤——数据、模型、损失函数、优化器和迭代训练，这些用PyTorch的基本实现前面的笔记都已经涉及，最后的几次笔记是一些实用的技巧，PyTorch框架的基础

qq_40467656的博客 830

刘铁岩：如何四两拨千斤，高效地预训练NLP模型？

2020-11-28 00:14:33 智源社区 & AI科技评论作者 | Mr Bear 2020 年 11 月 1 日，微软亚洲研究院副院长、IEEE会士、ACM杰出科学家刘铁岩博士在第十九届中国计算语言学大会（CCL）上发表了题为「四两拨千斤：实现高效的NLP模型预训练」的主题演讲。目前，GPT-3 等模型的预训练任务需要使用大量的计算资源，计算效率低下。在本次演讲中，刘铁岩博士从数据处理、模型结构、损失函数、优化算法等多个维度介绍了微软亚洲研究院（MSRA）的研究者们针对高效 N