这篇博客介绍了最优化理论中的关键方法，包括线搜索法确定步长和方向，共轭梯度法的步长选择与方向处理，以及信赖域方法的基本形式。重点讨论了最速下降法、牛顿法、拟牛顿法，并深入探讨了最小二乘问题，尤其是非线性算法和正交距离回归法。
所用教材（其实最开始是对着教材预习的，但水平不够，往往以晕结束，后来只把教材当参考，摘出重点理论搜相关资源，效果蛮好。感谢相关答主~觉得自己机智的不得了哈哈哈）感谢！两大基本法则：线搜索（定好方向）与信赖域（定好步长再确定方向）
1.1最速下降法，本质是一阶近似，方向直接是梯度方向，再定步长。
1.2牛顿法，本质是二阶近似，再令 二次函数的导数为0，得到关于二阶导的信息（里面已包含步长信息）。||| 拟牛顿法，对 二阶导进行近似。
1.3 共轭梯度法（非线性的特重要）
最优化理论笔记
ch3: line search methods
3.1 两个 迭代关键词：步长、方向
3.1.1 方向与梯度的 关系：
几何关系当然是 越负梯度那边越好。最速下降法中，就 正好是 负梯度 方向了。
但是这个B，除了正定对称外有什么呢？
课后题：
3.1.2 步长的确定
3.25公式与下面5.7类似。只是在精确线搜索中，方向即为负梯度的方向.
Ax-b即为f关于x的梯度，
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
