- 博客(2)
- 收藏
- 关注
RSS订阅原创 深度学习 Normalization —— 激活函数的饱和区
在某些激活函数中，当输入的绝对值较大时，函数的输出趋于一个固定的值，导致梯度接近于零，参数更新速度极慢，甚至训练停滞。显然，所谓的饱和区就是训练时梯度趋于零，甚至等于零，导致模型陷入了一种“饱和”，因此我们认为激活函数的导数趋于或等于零时，该区域为激活函数的饱和区。
2025-01-21 17:00:06
462
原创 优化模型——模拟退火算法
模拟退火算法其实也是一种Greedy贪心算法，但是它的搜索过程引入了随机因素，在迭代更新可行解时，以一定的概率来接受一个比当前解要差的解，因此有可能跳出局部最优解，达到全局最优解。
2024-08-30 10:38:03
2676
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人