- 博客(10)
- 收藏
- 关注
RSS订阅原创 b站李沐_pytorch动手机器学习14_数值稳定性、模型初始化和激活函数学习笔记
上式中，除了第一项和最后一项，每一个偏导项就是一个矩阵，一共有n-i项，是n-i个矩阵的连乘；就容易极大或极小，导致其参数更新很慢（梯度消失），或者震荡很剧烈（梯度爆炸）；当n非常大，即网络非常深时，对于较小的i，即开始的几层网络参数，其。均值对于加法可以累加，对于独立随机变量，乘法可以和均值符号换位置；神经网络的反向传播实际就是一个链式的求导，要更新第i层的参数。表示第t层的第i个神经元的输出，将其看做一个随机变量；目标：激活函数应该不改变其输入和输出数据的分布。结论：这样的激活函数需要为。
2024-10-16 14:21:54
1529
原创 b站李沐_pytorch动手机器学习13_丢弃法dropout学习笔记
一个良好的模型应该对输入数据的噪音有足够的容忍性；在数据中加入噪音，等价于正则化方式在神将网络层之间加入噪音，就是Dropout。
2024-10-14 15:39:53
190
原创 b站李沐_pytorch动手机器学习12_权重衰退学习笔记
需要手动设定，增加了超参数，且式子不便用于优化模型。对比有正则项和无正则项的参数更新公式，都有一个。一种防止过拟合的手段，除了损失函数以外，对。在优化损失函数的同时，针对模型的权重。，不过有正则项时，对w先乘了一个。
2024-10-12 16:27:03
512
原创 b站李沐_pytorch动手机器学习11_模型选择、过拟合和欠拟合学习笔记
测试集：用测试误差来近似泛化误差；只使用一次，不能训练多个模型，再挑选测试误差最小的，这样相当于在迎合测试集的数据分布；每次挑出其中一个作为验证集，其余k-1个合并作为训练集，训练好模型后在留出的那一个上面作验证，如此重复k次；一个统计学习概念：针对分类问题，一个模型的复杂度，可以看做其可以100%正确分类的数据集的最大容量；如何比较模型容量：给定模型的种类，有两个主要因素影响模型容量，分别为。常用K=5或10，极端下K=1，每次留一个，数据集小时适用；验证集：用于测试模型设计的好坏，例如修改超参数等；
2024-10-11 16:58:21
1615
原创 Qt中button与buttons的区别
返回产生事件的按钮状态，函数返回当前按下的所有按钮，按钮状态可以是Qt::LeftButton,Qt::RightButton,Qt::MidButton或运算组合。如果鼠标左键处于按下状态，则结果为真，如果不考虑左右键都处于按下状态，则 与event->buttons() == Qt::LeftButton在结果上是相同的。此时如果移动鼠标，会产生鼠标的move事件，button()返回Qt::NoButton，buttons()返回LeftButton。鼠标左键已经处在按下的状态，
2023-10-31 17:01:32
262
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人