计算机视觉面经【1】

1.Adam和SGD优化器哪个更好，好在哪里，哪个使模型更加容易发散?

Adam优化器：
Adam优化器结合了两种扩展的梯度下降算法：Momentum和RMSProp。
它自动调整学习率，为每个参数计算自适应学习率。
Adam优化器通过计算梯度的一阶矩估计（即均值）和二阶矩估计（即未中心化的方差）来调整每个参数的学习率。
优点：对超参数的选择相当鲁棒，适合不稳定目标函数，适应不同大小的数据集和学习率。
缺点：可能会在训练初期快速收敛，但在后期可能会出现收敛速度慢或者发散的情况。
SGD优化器：
SGD是基础的随机梯度下降算法，它在每次迭代中随机选择一个样本来计算梯度。
SGD通常需要精细调整学习率，并且对初始学习率的选择比较敏感。
SGD有时候可能会在鞍点或者局部最小点震荡，导致收敛速度慢。
优点：在适当的条件下，SGD有可能达到更好的最优点，特别是在大规模数据集和复杂模型上。
缺点：学习率需要仔细调整，可能会在训练过程中卡在鞍点或者局部最小值。

关于模型发散的问题，理论上，如果学习率设置不当，两种优化器都可能导致模型发散。但是，由于Adam优化器会自动调整学习率，它在某些情况下可能比SGD更不容易发散。然而，这并不是绝对的，因为Adam优化器的自适应学习率策略有时候也可能导致在训练后期出现发散。

优化方法总结</