yangzixuan_0608的博客

神经网络中，常见的超参数调优方法有：网格搜索、随机搜索、贝叶斯优化以及谷歌的面包烘焙算法(未开源)，本篇文章主要讨论贝叶斯优化算法和贝叶斯定理之间的关系一、网格搜索-- 网格搜索可能是最简单、应用最广泛的超参数搜索算法，它通过查找搜索范围内的所有的点来确定最优值。二、随机搜索：-- 随机搜索的思想与网格搜索比较相似，只是不再测试上界和下界之间的所有 值，而是在搜索范围中随机选取样本点。-- 它的理论依据是，如果样本点集足够大，那么通过随机采样也能大概率地找到全局最优值，或其近似值 ...

1、到底是选择Adam还是SGD优化器 选Adam的好处Adam傻瓜式，可以无视学习率-- 收敛速度快选SGD的好处SGD适合要求高的模型-- 精度高-- 一般从一个较大的学习率进行训练最优选择：Adam+SGD-- 可以先用Adam粗调，然后使用SGD精调2、Momentum优化器也有很大作用 面对小而连续的梯度但是含有很多噪声的时候，最先使用这个-...