- 博客(3)
- 收藏
- 关注
RSS订阅原创 Datawhale X 李宏毅苹果书 AI夏令营——深度学习（进阶）
目前已经讲了两个简化的方法，我们来总结下。如下图所示，全连接网络是弹性最大的。全连接网络可以决定它看整张图像还是只看一个范围，如果它只想看一个范围，可以把很多权重设成 0。全连接层（fully-connected layer，）可以自己决定看整张图像还是一个小范围。但加上感受野的概念以后，只能看一个小范围，网络的弹性是变小的。参数共享又进一步限制了网络的弹性。本来在学习的时候，每个神经元可以各自有不同的参数，它们可以学出相同的参数，也可以有不一样的参数。
2024-09-21 16:20:50
2162
原创 Datawhale X 李宏毅苹果书 AI夏令营——深度学习（进阶）
所以我们从最原始的梯度下降，进化到这一个版本，如下式所示：其中 mit是动量。这个版本里面有动量，它不是顺着某个时刻算出的梯度方向来更新参数，而是把过去所有算出的梯度的方向做一个加权总和当作更新的方向。接下来的步伐大小为 mit/ σit。最后通过 ηt来实现学习率调度。这个是目前优化的完整的版本，这种优化器除了 Adam 以外，还有各种变形。但其实各种变形是使用不同的方式来计算 mit或 σit，或者是使用不同的学习率调度的方式。
2024-09-01 22:56:23
2133
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人