最优化学习2

继上文通过视频对经典最优化方法进行学习之后
本文准备进一步通过博客，论文等学习一些经典方法的变体和其它方法

阻尼牛顿法
为了解决牛顿法每次步长无法控制，有时候不能收敛的缺点。所以每次在前进方向进行一次一维搜索，确定结果不会发散
https://www.cnblogs.com/focus-ml/p/3763941.html

牛顿法因为其目标函数的海森阵不一定能保持正定，每次迭代计算二阶偏导的计算量过大，所以开始有研究拟牛顿法。
包含DFP算法，BFGS算法，L-BFGS算法。在该系列博客中。其中L-BFGS相对于BFGS占用的内存更少。
https://blog.youkuaiyun.com/itplus/article/details/21896981

转载于:https://www.cnblogs.com/zherlock/p/10211284.html