- 博客(3)
- 收藏
- 关注
RSS订阅原创 如果optimization失败怎么办？怎么把梯度下降做的更好。local minima & saddle point
（PPT9） 如果optimization失败怎么办？怎么把梯度下降做的更好。 如上图，当时loss值不变，则有可能参数对损失函数的微分为0，则梯度下降不会再对参数进行更新。 微分为0统称为 critical point。可能是以下两种情况： ①local minima 即局部最优；无路可走。 ②saddle point，如图中红色的点，左右高，前后低。有路可走。 如何分辨是local minima 还是 saddle point？（需要一些数学知识，如下图）
2022-03-10 21:39:16
270
原创 机器学习任务攻略--loss值为什么大
Framework of ML General Guide 1 Model Bias 模型太简单，没有弹性。 “海里没有针” 解决：给模型更大的弹性。 2 Optimization Issue 一般用到梯度下降方法，但是这种方法有很多问题，比如局部最优。“没办法把针捞出来” 判断 Model Bias vs. Optimization Issue 比较不同的模型来判断模型够不够大。先跑小数据或者先跑简单的模型，如SVM（不...
2022-03-10 21:17:23
5203
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人