深度学习的训练技巧总结--台大李宏毅机器学习课程笔记

最新推荐文章于 2025-07-15 19:48:45 发布
原创 最新推荐文章于 2025-07-15 19:48:45 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客总结了深度学习中的训练技巧，包括早停法（Early Stopping）、正则化、Dropout、新激活函数（如ReLU、Leaky ReLU和Parametric ReLU）以及自适应学习率优化算法（如Adagrad、RMSProp和Adam）。解释了这些技术如何解决梯度消失问题，提高模型性能，并阐述了dropout作为集成学习的思想。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主要记录一些学习过程，以后查阅也方便，来源：李宏毅机器学习课程

Early Stopping 

此时提前停止的testing set是有label的data，一般是自己划分出来的Val验证集数据或类似kaggle的public set 

Regularization

 

 \eta \lambda都是很小的值，因此每次update之前就相当于乘上一个接近1的数，比如0.99，这相当于前面越来越接近0，相当于在做weight decay。但是深度学习中正则化（Regularization）一般并没有SVM那样明显有帮助。正则化与early stopping所做的事是比较接近的，都是使参数不要离零太远。

 每一次update参数时，如果w为正，就是减去一个值让参数变大。如果w是特别大的正值，对于L2正则化减去的也很大，但对于L1减去的都差不多，因此L1可能会保留很多很大的值。如果考虑很小的值比如0.1，0.001，L2下降的就会很慢，因此会保留很多很小的值，而L1减去的值都是固定的值（+1或-1），因此L1的结果比较稀疏。

Dropout

training阶段每一个神经元被丢掉的概率都是p%,每一次update前都进行上图所示的dro

最低0.47元/天 解锁文章

200万优质内容无限畅学
李宏毅深度学习课程笔记总结
weixin_43149509的博客
08-19 377
classification：分类问题 regression：回归问题 两大领域之外，还有 Structured Learning：机器产生有结构的东西的问题（机器学会创造） domain knowledge model：就是一个带有未知parameter 的 function loss：多个训练出来的值，对比出来的平均误差 label：真实的数值 error surface 第三步，optimization 最佳化的问题 使用的方法：gradient descent learning rate ：自己设置
【学习笔记】台湾大学李宏毅深度学习简介课程
许虹蕾的博客
01-25 727
机器学习入门课程
台湾大学李宏毅《机器学习》 课程学习笔记.pdf
11-06
主要由监督学习、半监督学习、迁移学习、无监督学习、监督学习中的结构化学习以及强化学习构成。最关键的是本文档带书签。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Task Tips
知不足而奋进，望远山而前行
12-11 2万+
如下图所示，我们会把原始训练资料分为训练集和验证集，其中假设验证集占原始训练资料的三分之一，那么就可以进行三折交叉验证，根据将原始训练数据分为三个不同的验证集和训练集，可以训练出三个模型，我们最终会选择这三个模型中，在验证集上Loss最小的作为最终模型。还是看上一节课讲的案例，2/26是星期五，按照以往的规律，星期五一般学习Deep Learning的人数都是比较少的，所以模型也认为2/26日播放量应该比较少，然而事实是，2/26反而是播放量最多的一天。尝试不同的模型，对比不同模型下，训练过程的Loss。
具身智能零碎知识点（六）：VAE 核心解密：重参数化技巧（Reparameterization Trick）到底在干啥？
最新发布
xzs1210652636的博客
07-15 1282
摘要： 变分自编码器（VAE）通过编码器输出概率分布参数（均值μ和方差σ²），并从中采样潜在向量z，但采样操作的随机性导致梯度无法回传，阻碍训练。重参数化技巧通过将采样过程改写为确定性计算（z = μ + σ·ε，ε∼N(0,1)），将随机性转移至独立噪声ε，使梯度可顺利回传至编码器的μ和σ参数。代码中，编码器通常输出对数方差（logσ²），经指数和平方根运算得到σ，再结合标准正态噪声ε生成z。这一技巧是VAE实现端到端训练的关键，保障了模型在潜在空间中的连续性与可学习性。
李宏毅深度学习课程笔记 -卷积神经网络
wzw12315的专栏
05-30 304
1、卷积神经网络特适合image处理，其设计理念： 现象1： 现象2： 现象3： 总结summary： (1)对于图像中的patterns(比如猫的耳朵，嘴巴等)，通常比整张图像小很多。神经网络的每一个neuron，相当于一个basic classifier，只对其识别的pattern激活。故设计卷积神经网络处理图像时，设计每一层卷积包含多个卷积核filter，每一个filter负责识别一个pattern。其实卷积层的每一个filter相当于full connect layer的一
学习台大李宏毅的人工智能课程笔记
abc50319的专栏
05-23 1078
课程主页在这里：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html
精品--国立台湾大学李宏毅老师讲解的深度强化学习学习笔记.zip
02-05
这份"精品--国立台湾大学李宏毅老师讲解的深度强化学习学习笔记"应该包含了李宏毅教授在课程中对这一主题的深入解析。 李宏毅教授是计算机科学领域的知名专家，他在机器学习和人工智能方面的教学深受学生喜爱。他的...
李宏毅老师2021深度学习课程笔记.pdf
10-08
综上所述，李宏毅老师的2021春季深度学习课程笔记，不仅为学习者提供了深度学习模型泛化、训练、优化等关键知识点的学习资料，而且为从业者提供了在实际问题中应用这些知识的思路和方法。通过对这些课程内容的学习，...
台大李宏毅老师——深度学习 课程笔记 一 （Summary Regression Basic Concept)
爱学习的大叔的博客
02-20 695
文章目录概述Supervised LearningReinforcement LearningUnsupervised Learning前沿研究Meta learningLife-long learningRegressionRegression ApplicationExample AplicationBasic Concept 概述 机器学习不只是有分类和回归任务，还有GAN。也就是自动生成结构性的复杂数据，比如句子或者图片。现在再回看李宏毅老师的深度学习，可以说自己对于它的理解也更进一步了。GAN更
深度学习李宏毅笔记
2301_80134557的博客
10-10 1240
从最原始的梯度下降进化到上式的版本：增加了动量m，步伐大小为动变为，再通过来实现学习率调度。
李宏毅教授深度学习作业ppt
11-16
台大李宏毅教授深度学习2017课程的作业ppt，是对应课程的官方作业
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Introduction
热门推荐
知不足而奋进，望远山而前行
12-10 2万+
这一步骤在 Deep Learning 中通常表现为建立Model。比如，建立了一个3层的全连接网络，每一层是由线性层+ReLu激活函数构成的，这就是我们定义的函数表达式。在每一个线性层中，都有未知的参数 w 和 b损失函数的值代表了真实值与预测值之间的差距，通常来说，损失函数值越小，代表模型的预测就越接近真实值。常用的损失函数如下图所示：MAE、MSE 等案例介绍已知2017年-2020年的播放量数据，通过已知的数据，训练一个模型（拟合一个函数），预测未来的播放量思路分析建立参数未知的函数表达式。
机器学习和深度学习 -- 李宏毅（笔记与个人理解1-6）
weixin_65403042的博客
04-05 2788
课程内容。
李宏毅机器学习总结笔记1
you_jinpeng的博客
06-04 628
课程学习内容介绍 一，方案： 1.监督学习（有标签） 2.半监督学习 比如识别猫狗，有少量猫狗有标签的照片还有很多没有标签的猫狗照片。 3.无监督学习 4.迁移学习（transfer learning） 5.强化学习（边感知自己的行为和结果，意识这样做对不对） 二，其它介绍 1.regression：一个机器学习task，输出一个数值。如：预测明天的pm2.5.输出明天可能的pm2.5值。 ...
李宏毅深度学习笔记（全连接、CNN、RNN）一
u014163559的博客
12-30 4211
多少啊的
机器学习之深度学习（机器学习技法）
qq_34993631的博客
03-18 1244
深层神经网络先说说神经网络神经网络是由一个个的神经元所构成，其中每个神经元的内部都封装着一个线性或者是非线性的模型。每一个节点都会对应一个权重向量W。这个向量会与前面的输入所组合（透过tanh函数）组合后的输出又当做是新一轮的输入。我们希望模型的预测与我们的标签一样，那么我们最终的权重的大小就应该和物体的特点所一致这就是权重的意义。同时也说明了我们中间的隐藏层的转换就是我们对资料特征的萃取。最后我...
李宏毅深度学习笔记——呕心整理版
Red_Elf的博客
12-06 8698
机器学习就是寻找一个复杂函数。深度学习的函数就是类神经网络。
深度学习训练技巧
vivi_cin的博客
08-18 178
的第一步是不要碰代码，先彻底检查自己的数据。我喜欢用大量时间浏览数千个样本，理解它们的分布，寻找其中的模式。有一次，我发现数据中包含重复的样本，还有一次我发现了损坏的图像／标签。我会查找数据不均衡和偏差。我通常还会注意自己的数据分类过程，它会揭示我们最终探索的架构。比如，只需要局部特征就够了还是需要全局语境？最后，为了更加确保网络是个合理的分类器，我喜欢可视化网络第一层的权重，确保自己获得了有意义的边缘。如果第一层的滤波器看起来像噪声，那需要去掉些东西。类似地，网络内的激活函数有时候也会揭示出一些问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值